Способ динамического распределения производительности при обработке фрактального трафика реального времени с использованием попарного агрегирования слабокоррелируемых потоков

Изобретение относится к области управления потоком или управления перегрузкой каналов связи для трафика в реальном времени. Техническим результатом является обеспечение гарантированного обслуживания пульсирующего фрактального потока реального времени путем полного исключения отказов в обслуживании из-за занятости устройств обработки. В способе определяют фрактальность и корреляционные связи для всех входных подпотоков (микропотоков) в составе общего входного потока; передают пакеты, получившие первичный отказ в обслуживании из-за занятости всех обслуживающих устройств из планировщика дообслуживания, на повторное обслуживание в планировщик обслуживания в подпоток (микропоток) с наименьшей корреляционной связью с подпотоком (микропотоком), которому принадлежит дообслуживаемый пакет; производят попарное агрегирование входных подпотоков (микропотоков) в планировщике обслуживания по критерию наименьшего значения коэффициента корреляции; распределяют всю имеющуюся производительность по агрегированным потокам пропорционально их максимальному всплеску; изменяют схему попарного агрегирования входных подпотоков (микропотоков) и схему распределения обслуживающих устройств в планировщике обслуживания в случае пропадания или появления подпотока (микропотока), а также при изменении коэффициента корреляции для любой возможной пары агрегирования на величину более 0.1. 1 ил.

 

Изобретение относится к области управления потоком или управления перегрузкой каналов связи для трафика в реальном времени и может быть использовано для гарантирования отсутствия потерь пакетов из-за отказа в обслуживании и уменьшения задержки в моменты перегрузки при передаче фрактального телекоммуникационного трафика реального времени в системах с отказами (без буферов).

Данное техническое решение в первую очередь предназначено для динамического адаптивного распределения имеющихся ресурсов производительности с учетом фрактальности входного потока, корреляционных связей между микропотоками и возможностью статистического мультиплексирования пакетов в периоды времени до очередной адаптации параметров системы обработки под текущие характеристики входного потока, а также сглаживания внезапных всплесков активности при обработке моноприоритетного трафика реального времени в системах с отказами.

Существующие системы обработки телекоммуникационного трафика в реальном или близком к реальному масштабах времени, в большинстве своем, строятся на основе классической теории массового обслуживания, основанной на моделях Эрланга. Это предполагает, что поток является стационарным пуассоновским. Но современные исследования показывают, что телекоммуникационный трафик является сильно пульсирующим, а зачастую фрактальным и проявляет свойства долговременной зависимости. Это означает, что всплески не являются одномоментными и не могут быть сглажены за счет буферизации или обслужены за счет избыточного выделения производительности.

Особенностью фрактального трафика является наличие в нем устойчивой кластеризации. К примеру, в трафике, который подчинен закону распределения Пуассона, кластеризация существует на краткосрочном масштабе, а на долгосрочном происходит ее сглаживание. В результате, если трафик пуассоновский, то появляющиеся при пульсации очереди в краткосрочной перспективе будут очищаться. Но как показывают исследования трафиковых трасс, неравномерное поведение сети само по себе неравномерно, то есть происходит группировка пульсаций. В таких случаях интенсивность поступления пакетов нельзя считать подчиняющейся закону Пуассона. Возникающие при этом длительные перегрузки способны оказать весьма негативное воздействие на производительность сети передачи данных.

Особенно большое негативное влияние долговременная зависимость оказывает на функционирование систем передачи данных работающих в режиме реального или близкого к реальному времени, где статистические характеристики входного потока априорно не известны, а затяжные внезапные всплески приводят к перегрузкам. Более того, многие потоки обладают положительной корреляционной связью, что впоследствии их группирования приводит к еще большему усложнению процесса обеспечения требуемого качества обслуживания.

Это обуславливает необходимость использования при обеспечении качества обслуживания технических решений способных учитывать при функционировании телекоммуникационных сетей фрактальную природу трафика и корреляционные связи микропотоков входящих в состав общего входного потока.

Еще одной особенностью, которой обладают системы реального времени, является практически полное отсутствие буферизации из-за высоких требований к задержке и джиттеру. Это приводит к тому, что в случае возникновения перегрузок или запаздывания механизма перераспределения производительности, происходит потеря данных из-за невозможности обслуживания.

Современные системы передачи данных ориентированные на гарантированное обслуживание телекоммуникационного трафика реального времени зачастую используют механизмы резервирования ресурсов. Причем, ресурсы резервируются заблаговременно и в большинстве случаев в избыточном объеме. Для резервирования реально требуемой пропускной способности (производительности) телекоммуникационного оборудования необходимо обладать полной информацией о передаваемом потоке трафика. Данная информация в большинстве случаев остается неизвестной, что и вызывает избыточное расходование ресурсов, а в случае невозможности оперативной адаптации или недооценке требуемых ресурсов, отказ в обслуживании. Системы, которые выделяют ресурсы по мере надобности, не способны адекватно оценить их требуемый объем в начальный момент времени до получения статистики по входному потоку.

Известен способ повышения качества передачи фрактального телекоммуникационного трафика (патент RU №2677373, 2019).

Сущность данного способа заключается в следующем.

В режиме реального времени производят вычисление оптимальных значений параметров маршрутизатора отвечающих за обеспечение качества обслуживания, выделяемое время процессора и размер буфера. Для этого: сниффером считывают параметры телекоммуникационного трафика и формируют таблицы данных о времени прихода пакета, адресе отправителя и размере пакета; в анализаторе фрактальности производят определение показателя Харста; вычисляют оптимальные значения объема буфера и интенсивности обслуживания для каждой очереди в маршрутизаторе, при этом используют модели обслуживания самоподобного телекоммуникационного трафика; производят имитационное моделирование работы маршрутизатора в ускоренном режиме при обработке сгенерированного трафика с показателем Харста соответствующим измеренному; сравнивают показатели качества обслуживания, полученные в имитационной модели, с заданными в качестве требуемых оператором; корректируют параметры очередей для каждого типа трафика и параметры математической модели обслуживания фрактального трафика, вычисляющей значения показателей качества обслуживания через значение показателя Харста; изменяют параметры маршрутизатора на основе полученных математической моделью значений объема буфера и интенсивности обслуживания.

Способ-аналог имеет следующие недостатки.

1. Не обеспечивают возможность гарантированной обработки трафика реального времени в системах с отказами (без очереди).

2. Не направляют пакеты, получившие первичный отказ в обслуживании на дообслуживание в свободные устройства обработки выделенные (зарезервированные) для других потоков.

3. Используют предварительный сбор и обработку статистических данных для определения оптимальных параметров телекоммуникационного оборудования, чем исключают возможность функционирования в реальном масштабе времени.

Способ-аналог не позволяет сглаживать моменты перегрузки в период, когда оптимальные параметры не вычислены под текущий профиль трафика, посредством перераспределения входного потока по незанятым обработчикам без использования буферов ожидания.

Также, известен способ динамического квазиоптимального распределения производительности при обработке фрактального трафика реального времени в системах с отказами (патент RU №2742038, 2021).

Сущность данного способа-аналога заключается в следующем:

в режиме близком к реальному времени определяют текущий показатель Харста, среднюю интенсивность, количество поступивших пакетов и среднее время обработки одного пакета для всех входных потоков;

определяют квазиоптимальный вариант распределения производительности по критерию минимума вероятности отказа в обслуживании на основании математической модели сети массового обслуживания, которая описывает совокупность последовательно расположенных многоканальных СМО с отказами при фрактальных входных потоках;

передают пакеты, получившие первичный отказ в обслуживании, в планировщик дообслуживания с целью обработки в свободных обслуживающих устройствах, выделенных под другой поток с наименьшим значением показателя Харста.

Способ-аналог имеет следующие недостатки.

1. Не обеспечивают полное отсутствие потерь из-за отказа в обслуживании при обработке фрактального трафика реального времени.

2. Осуществляют продолжительный поиск квазиоптимального варианта распределения обслуживающих устройств по потокам при оптимизации производительности методом полного перебора возможных вариантов.

3. Не обеспечивают формирование корректной схемы распределения обслуживающих устройств для вновь появившихся потоков до момента набора требуемого объема статистики.

Аналог не позволяет избежать потерь пакетов из-за отказа в обслуживании в начальный момент появления нового потока, так как статистика, требуемая для корректного определения показателя Харста, еще не набрана. При этом пакеты, получившие повторный отказ в обслуживании, уничтожаются, что не позволяет обеспечить гарантированную передачу всего объема информации. Используемый при оптимизации критерий минимума вероятности при предположении о подчинении процесса поступления данных распределению Парето, не позволяет обеспечить адекватное функционирование способа в условиях потоков с другими типами распределений, например: Вейбула и логнормального.

Наиболее близким по технической сущности к заявленному способу и выбранным в качестве прототипа является способ динамического распределения производительности при обработке фрактального трафика реального времени в системах с гарантированным обслуживанием (патент RU №2759003, 2021). Сущность данного способа-прототипа заключается в следующем: определяют количество потоков реального времени во входном Ethernet интерфейсе;

в режиме близком к реальному времени определяют текущий показатель Харста, среднеквадратическое отклонение интенсивности и количество поступивших пакетов;

определяют фрактальный максимальный всплеск для каждого входного потока;

определяют текущий максимальный всплеск для каждого входного потока;

определяют требуемое количество обслуживающих устройств для каждого входного потока;

обрабатывают входные пакеты потоков реального времени;

передают пакеты получившие отказ в обслуживании на дообслуживание.

Способ-прототип имеет следующие недостатки.

1. Используют сбор априорных данных, перед началом передачи.

2. Не учитывают при агрегировании пакетов получивших первичный отказ в обслуживании корреляционные связи потоков, с которыми производится объединение для повторной обработки.

3. Не учитывают при вычислении максимального всплеска максимально возможный размера пакета.

4. Не используют всю имеющуюся производительность устройства обработки.

5. Производят индивидуальное обслуживание подпотоков (микропотоков) входящих в состав общего входного потока.

6. Производят адаптацию параметров производительности только при появлении или пропадании подпотока (микропотока) в составе общего входного потока, а также в случае явной перегрузки, то есть появлении отказов в обслуживании.

Прототип не позволяет избежать потерь пакетов из-за отказа в обслуживании в начальный момент запуска системы, так как статистика, требуемая для корректного определения показателя Харста, еще не набрана.

При изменении статистических характеристик, предшествующем перегрузке, способ-прототип не осуществляет оперативного реагирования, а борется лишь с последствиями перегрузки, выраженными в нарастании количества отказов в обслуживании. При этом, использование не всей производительности устройств обработки, приводит к невозможности компенсирования длительных всплесков вызванных долговременной зависимостью во входных данных.

Технический результат предлагаемого способа заключается в гарантированном обслуживании пульсирующего фрактального потока реального времени, путем полного исключения отказов в обслуживании из-за занятости устройств обработки, за счет применения схемы дообслуживания, а также уменьшении задержек, вызванных дообслуживанием, через снижение первичных отказов в обслуживании по причине пульсаций, посредством попарного агрегирования слабокоррелированных потоков.

Задача, которую решает предлагаемый способ, заключается в уменьшении задержки в условиях динамического распределения производительности при обработке фрактального трафика реального времени в системах с гарантированным обслуживанием в соответствии с текущими статистическими параметрами входного потока при отсутствии буферов ожидания, при этом: уменьшение задержки осуществляется посредством снижения числа пакетов получивших первичный отказ в обслуживании и отправляемых на дообслуживание, за счет применения схемы попарного агрегирования слабокоррелированных потоков.

Функционирование изобретения поясняется следующими графическими материалами:

Фиг. 1 - функциональная схема способа динамического распределения производительности при обработке фрактального трафика реального времени с использованием попарного агрегирования слабокоррелируемых потоков.

На фигуре 1 представлена функциональная схема способа динамического распределения производительности при обработке фрактального трафика реального времени с использованием попарного агрегирования слабокоррелируемых потоков, которая включает следующие элементы:

1. Входной поток пакетов, состоящий из одноприоритетных подпотоков (микропотоков).

2. Анализатор фрактальности и корреляционных связей.

3. Планировщик обслуживания, реализованный по принципу коммутационной матрицы.

4. Устройство обработки.

5. Выходной поток.

6. Планировщик дообслуживания.

Для решения заявленной задачи предлагается способ динамического распределения производительности при обработке фрактального трафика реального времени с использованием попарного агрегирования слабокоррелируемых потоков, заключающийся в том, что:

1. Начинают передачу входного потока 1 на анализатор фрактальности и корреляционных связей 2.

2. Начинают определение фрактальности и корреляционных связей для всех входных подпотоков (микропотоков) в составе общего входного потока в анализаторе фрактальности и корреляционных связей 2.

При этом определение меры фрактальности реализуют специализированным программным обеспечением (Белов П.Ю., Белов К.Ю., Полоус А.И., Клименко В.В. Программа анализа фрактальности реального информационного трафика (ПАФРИТ). Свидетельство о государственной регистрации программ для ЭВМ №2014613976 от 14.04.2014 г.), а мерой фрактальности является показатель Харста.

Анализ корреляционных связей реализуют посредством определения коэффициента корреляции для каждой возможной пары входных подпотоков (микропотоков).

3. Передают весь входной поток в планировщик обслуживания 3, построенный по принципу коммутационной матрицы.

4. Агрегируют весь входной пакетный поток 1 в планировщике обслуживания 3.

При этом процесс агрегирования является одним из этапов построения схемы коммутации в планировщике обслуживания 3, которой реализуется распределение производительности элементарных обработчиков входящих в состав устройства обработки 4 для обработки входных данных.

5. Передают агрегированный пакетированный поток в устройство обработки 4 в соответствии со схемой коммутации, сформированной в планировщике обслуживания 3.

6. Обрабатывают агрегированный поток пакетов, используя всю производительность устройства обработки 4.

При этом под обработкой в зависимости от особенностей системы передачи данных может пониматься: компрессия, декомпрессия, шифрование, перепакетирование, кодирование, декодирование и т.д.

7. Передают успешно обслуженные пакеты из устройства обработки 4 на выходной интерфейс 5.

8. Запрашивают данные о корреляционных связях входных подпотоков (микропотоков) и мере их фрактальности из анализатора фрактальности и корреляционных связей 2 в планировщик дообслуживания 6.

9. Передают пакеты, получившие первичный отказ в обслуживании из-за занятости всех обслуживающих устройств выделенных под обработку агрегированного потока, которому они принадлежат, из планировщика дообслуживания 6 на повторное обслуживание в планировщик обслуживания 3 в подпоток (микропоток) с наименьшей корреляционной связью с подпотоком (микропотоком), которому принадлежит дослуживаемый пакет.

10. Передают текущее значение показателя Харста, оценку среднеквадратического отклонения скорости входного потока, количество принятых пакетов для всех входных подпотоков (микропотоков) и значения коэффициента корреляции для всех возможных пар входных потоков из анализатора фрактальности и корреляционных связей 2 в планировщик обслуживания 3.

11. Производят попарное агрегирование входных подпотоков (микропотоков) в планировщике обслуживания 3 по критерию наименьшего значения коэффициента корреляции и не задействуют в агрегировании один из подпотоков (микропотоков) при их нечетном общем количестве.

При этом наилучшим вариантом агрегирования будет тот, при котором объединяются потоки, имеющие отрицательную корреляционную связь.

12. Распределяют в планировщике обслуживания 3 всю имеющуюся производительность по агрегированным потокам пропорционально их максимальному всплеску, посредством построения схемы коммутации с устройством обработки 4.

При этом максимальный всплеск агрегированного потока определяется как сумма максимальных всплесков подпотоков (микропотоков) входящих в агрегат в соответствии с выражением вида

где: - оценка СКО скорости входного подпотока (микропотока) принадлежащего j-му агрегату; - показатель Харста входного подпотока (микропотока) принадлежащего j-му агрегату; - число пакетов принятых от источника подпотока (микропотока) принадлежащего j-му агрегату на текущий момент времени; - максимальный размер пакетов принятых от источника подпотока (микропотока) принадлежащего j-му агрегату на текущий момент времени, - максимальный всплеск подпотока (микропотока) принадлежащего j-му агрегату.

Для вычисления выделяемой производительности используют выражение вида

где: R_общ - общая производительность устройства обработки (общее число обслуживающих устройств); - коэффициент выделяемой для j-го агрегата производительности от общей производительности устройства обработки;

13. Продолжают обработку агрегированных потоков в соответствии со схемой распределения обслуживающих устройств, полученной в планировщике обслуживания 3.

14. Изменяют схему попарного агрегирования входных подпотоков (микропотоков) и схему распределения обслуживающих устройств по агрегатам в планировщике обслуживания 3 в случае пропадания или появления подпотока (микропотока), а также при изменении коэффициента корреляции для любой возможной пары агрегирования на величину более 0.1.

«Промышленная применимость» способа обусловлена наличием возможности реализовать его на штатных ЭВМ или с использованием программируемых логических интегральных схем (ПЛИС), а также на программно-конфигурируемом узловом телекоммуникационном оборудовании.

Сопоставление заявленного способа динамического распределения производительности при обработке фрактального трафика реального времени с использованием попарного агрегирования слабокоррелируемых потоков и прототипа показывает, что заявленный способ существенно отличается от прототипа.

Общие признаки заявляемого способа и прототипа:

1. Анализируют входной поток.

2. Используют при распределении производительности статистические характеристики входного телекоммуникационного трафика.

3. Используют в качестве меры фрактальности показатель Харста, которым описывают степень пульсаций.

4. Используют перераспределение входных пакетов реального времени получивших первичный отказ в обслуживании по свободным устройствам обработки, выделенным для других потоков.

5. Не используют буферы для входных потоков.

6. Используют при определении варианта распределения производительности максимальный всплеск, обусловленный фрактальностью входного потока.

Отличительные признаки предлагаемого решения:

1. Используют попарное агрегирование слабокоррелируемых потоков.

2. Не накапливают априорные статистические данные, перед началом передачи.

3. Учитывают при агрегировании пакетов получивших первичный отказ в обслуживании корреляционные связи потоков, с которыми производится объединение для повторной обработки.

4. Учитывают при вычислении максимального всплеска максимально возможный размер пакета.

5. Используют всю имеющуюся производительность устройства обработки.

6. Производят адаптацию параметров производительности при появлении или пропадании подпотока (микропотока) в составе общего входного потока, а также при изменении коэффициента корреляции для любой возможной пары агрегирования на величину более 0.1.

Таким образом, заявленный способ динамического распределения производительности при обработке фрактального трафика реального времени с использованием попарного агрегирования слабокоррелируемых потоков, позволяет за счет использования всей имеющейся производительности для обслуживания попарно агрегированных слабокоррелируемых потоков уменьшить число первичных отказов в обслуживании, за счет чего снизить задержку обработки входного потока, вызванную дообслуживанием.

Способ динамического распределения производительности при обработке фрактального трафика реального времени с использованием попарного агрегирования слабокоррелируемых потоков, заключающийся в том, что: начинают передачу входного потока на анализатор фрактальности и корреляционных связей; начинают определение фрактальности и корреляционных связей для всех входных подпотоков (микропотоков) в составе общего входного потока; передают весь входной поток в планировщик обслуживания; агрегируют весь входной пакетный поток; передают агрегированный пакетированный поток в устройство обработки в соответствии со схемой коммутации; обрабатывают агрегированный поток пакетов; передают успешно обслуженные пакеты из устройства обработки на выходной интерфейс; запрашивают данные о корреляционных связях входных подпотоков (микропотоков) и мере их фрактальности; передают пакеты, получившие первичный отказ в обслуживании, на повторное обслуживание в планировщик обслуживания; передают текущее значение показателя Харста, оценку среднеквадратического отклонения скорости входного потока, количество принятых пакетов для всех входных подпотоков (микропотоков) и значения коэффициента корреляции для всех возможных пар входных подпотоков (микропотоков); производят попарное агрегирование входных подпотоков (микропотоков); распределяют всю имеющуюся производительность по агрегированным потокам; продолжают обработку агрегированных потоков в соответствии со схемой распределения обслуживающих устройств; изменяют схему попарного агрегирования входных подпотоков (микропотоков) и схему распределения обслуживающих устройств в планировщике обслуживания, отличающийся тем, что: начинают передачу входного потока на анализатор фрактальности и корреляционных связей в начальный момент времени; начинают определение фрактальности и корреляционных связей для всех входных подпотоков (микропотоков) в составе общего входного потока; обрабатывают агрегированный поток пакетов, используя всю производительность устройства обработки; передают пакеты, получившие первичный отказ в обслуживании из-за занятости всех обслуживающих устройств из планировщика дообслуживания, на повторное обслуживание в планировщик обслуживания в подпоток (микропоток) с наименьшей корреляционной связью с подпотоком (микропотоком), которому принадлежит дообслуживаемый пакет; передают текущее значение показателя Харста, оценку среднеквадратического отклонения скорости входного потока, количество принятых пакетов для всех входных подпотоков (микропотоков) и значения коэффициента корреляции для всех возможных пар входных подпотоков (микропотоков) из анализатора фрактальности и корреляционных связей в планировщик обслуживания; производят попарное агрегирование входных подпотоков (микропотоков) в планировщике обслуживания по критерию наименьшего значения коэффициента корреляции и не задействуют в агрегировании один из подпотоков (микропотоков) при их нечетном общем количестве; распределяют всю имеющуюся производительность по агрегированным потокам пропорционально их максимальному всплеску; изменяют схему попарного агрегирования входных подпотоков (микропотоков) и схему распределения обслуживающих устройств в планировщике обслуживания в случае пропадания или появления подпотока (микропотока), а также при изменении коэффициента корреляции для любой возможной пары агрегирования на величину более 0.1.