Система обработки трафика транзакционных данных платежных систем
Изобретение относится к области вычислительной обработки данных. Технический результат - повышение отказоустойчивости и скорости масштабирования системы. Система обработки трафика транзакционных данных платежных систем, содержащая взаимосвязанные между собой два центра обработки данных (ЦОД) каждый из которых содержит: по меньшей мере один сервер обработки и балансировки входящего трафика, по меньшей мере один сервер обработки, по меньшей мере один сервер взаимодействия с внешними системами, распределенный брокер сообщений; по меньшей мере один сервер долгосрочного хранения данных; по меньшей мере один сервер оперативного хранения данных; по меньшей мере один сервер для хранения исторических логов системы. 3 з.п. ф-лы, 2 ил.
ОБЛАСТЬ ТЕХНИКИ
[0001] Настоящее техническое решение, в общем, относится к области вычислительной обработки данных, а в частности, к системам обработки трафика транзакционных данных платежных систем.
УРОВЕНЬ ТЕХНИКИ
[0002] Обмен деньгами в наше время стал значительно проще для всех сторон: покупателей, продавцов, банков и даже для государственных структур. Благодаря переходу денежных средств из физического объекта в информационный продукт все происходит за секунды, поэтому общая денежная масса увеличивается. Уже не надо пересчитывать купюры, заботиться, чтобы они были в кармане в нужное время. Все происходит через каналы связи, а название этой глобальной системе - процессинг платежных карт. Поскольку он может быть банковским и небанковским, то охватывает практически все сферы, где фигурируют финансы.
[0003] Процессинг - это процесс обработки информации, которая существует в момент совершения денежной операции. Иными словами, это технология «доставки» денег от покупателя до продавца. За привычными действиями по передаче и приему платежей стоит сложная система, которая связывается с различными участниками, проверяет, передает и фиксирует данные. Поскольку платежи каждый человек производит по несколько раз в день, а предприятия производят тысячи и миллионы операций, то процессинговые системы представляют из себя сложный, многофункциональный механизм.
[0004] Такие системы широко известны из уровня техники, например, фронтальный компонент SmartVista Front - End https://wvvw.bpcbt.coni/ru/smartvista-solutions/ обладает возможностью принимать и обрабатывать трафик от платежных систем (MasterCard, Visa, МИР, JCB, UPI, Amex) с последующей передачей на авторизацию в процессинговое решение, производящее холдирование и расчет. Также компонент обладает возможность принимать и обрабатывать трафик от эквайринговых терминалов (Банкоматы, POS, Киоски для произведения оплат и проведения инкассации, платежные шлюзы) с последующей передачей на авторизацию в Международные платежные сети или в процессинговое решение банка для проведения авторизации.
[0005] Недостатком существующих решений в данной области является низкая отказоустойчивость и скорость масштабирования систем.
СУЩНОСТЬ ТЕХНИЧЕСКОГО РЕШЕНИЯ
[0006] Заявленное техническое решение предлагает новый подход в области обработки трафика транзакционных данных платежных систем.
[0007] Решаемой технической проблемой или технической задачей является создание новой системы обработки трафика транзакционных данных платежных систем, обладающей высокой степенью отказоустойчивости.
[0008] Основным техническим результатом, достигающимся при решении вышеуказанной технической проблемы, является повышение отказоустойчивости и скорости масштабирования системы.
[0009] Заявленный результат достигаются за счет системы обработки трафика транзакционных данных платежных систем, содержащей взаимосвязанные между собой два ЦОД каждый из которых содержит:
по меньшей мере один сервер обработки и балансировки входящего трафика, выполненный с возможностью:
получения и отправки сообщений при взаимодействии с внешними потребителями;
передачи сообщений между внутренними компонентами системы во внутреннем формате;
постановки в очередь процессов компонентов системы в соответствии с указанным получателем;
логирования операций и последующей отправки сообщений в распределенный брокер сообщений;
управления таймерами обработки операций между серверами;
по меньшей мере один сервер обработки, выполненный с возможностью:
переформатирования и отправки сообщений на маршрутизацию во внешнюю систему;
взаимодействия с защищенным аппаратным хранилищем данных (HSM), управления криптографическими операциями и выполнения криптографических проверок;
копирования данных между ЦОД;
преобразования сообщений в заданный формат сетевого обмена;
постановки в очередь процессов компонентов системы в соответствии с указанным получателем;
логирования операций и последующей отправки сообщений в распределенный брокер сообщений;
сценарной обработки сообщений и контроля исполнения сценариев, включающих по меньшей мере контроль тайминга отправки сообщений и проверку дупликации данных;
идентификации банковских карт и маршрутизации сообщений в соответствии с идентифицированными данными банковских карт;
установки признака необходимости проверки транзакции, а также отправки транзакции на проверку в систему фрод мониторинга;
управления таймерами обработки сообщений между серверами и компонентами системы;
реализации и отмен сценариев обработки операций эмитента;
проверки объектов транзакции на ограничения;
по меньшей мере один сервер взаимодействия с внешними системами, выполненный с возможностью:
обмена данными с внешними системами;
аутентификации и авторизации пользователя;
распределенный брокер сообщений, выполненный с возможностью передачи данных между компонентами системы;
по меньшей мере один сервер долгосрочного хранения данных;
по меньшей мере один сервер оперативного хранения данных;
по меньшей мере один сервер для хранения исторических логов системы.
[0010] В одном из частных вариантов осуществления сервер обработки и балансировки входящего трафика выполнен с возможностью обработки сетевого трафика от внешних систем и генерации идентификатора операции.
[0011] В другом частном варианте осуществления сервер обработки, выполнены с возможностью репликации данных в виде двух встречных независимых потоков.
[0012] В другом частном варианте осуществления каждый сервер системы дополнительно выполнен с возможностью передачи метрики во внешние системы мониторинга.
ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0013] Признаки и преимущества настоящего изобретения станут очевидными из приводимого ниже подробного описания изобретения и прилагаемых чертежей, на которых:
[0014] Фиг. 1 иллюстрирует общую схему заявленной системы обработки трафика транзакционных данных платежных систем.
[0015] Фиг. 2 иллюстрирует пример вычислительного устройства, на базе которого могут быть реализованы сервера системы.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
[0016] Система обработки трафика транзакционных данных платежных систем предназначена для взаимодействия с электронными каналами обслуживания и поступающими из них операциями.
[0017] Заявленное решение поддерживает возможность работы со следующими каналами обслуживания:
Платежными системами (Mastercard, VISA, МИР, CUP, JCB);
Эквайринговыми каналами (POS-терминалами, концентраторами по платежам и электронной коммерции, банкоматным концентратором и банкоматами).
[0018] При этом заявленная система обеспечивает следующий функционал:
Преобразование форматов платежных сетей во внутренний формат, а также поддержку форматов работы с эквайринговыми терминалами, концентраторами эквайринговых терминалов, платежными шлюзами;
Исполнение сценариев бизнес-логики и маршрутизации сообщений по каналам; Обеспечение доступности сервиса не ниже 99,99%.
[0019] Обеспечение высокой скорости и простоты масштабируемости (пропорциональным добавлением серверов без дополнительных работ по подготовке и переносу данных). Это достигается за счет того, что компоненты системы выступают как отдельные типовые единицы и путем увеличения количества таких единиц горизонтально масштабируется система. Благодаря подключению к единым серверам для хранения данных, все настройки и обрабатываемая информация автоматически оказывается на вновь подключенных компонентах системы.
[0020] Настройку бизнес функционала без остановки работоспособности системы;
Работы с сетями уровня L3;
Поддержку работы на серверах архитектуры Х86;
Поддержку работы с несколькими центрами обработки данных (ЦОД) в режиме Active-Active (режим функционирования системы, в котором два плеча функционируют в параллели и одновременно обрабатывают трафик от платежных сетей, также осуществляется переключение между плечами системы при выходе любого из них из строя);
Поддержку функционала рабочего места пользователя системы посредством WEB-интерфейса с ролевой моделью.
[0021] В заявленной системе реализован ряд решений, направленных на достижение поставленных задач.
[0022] Введены равнозначные рабочие узлы, применено хранение оперативной информации в NoSQL (базы данных типа «ключ-значение»).
[0023] Базы данных NoSQL обладают следующими свойствами:
базовая доступность (англ. basic availability) - каждый запрос гарантированно завершается (успешно или безуспешно);
гибкое состояние (англ. soft state) - состояние системы может изменяться со временем, даже без ввода новых данных, для достижения согласования данных;
согласованность в конечном счете (англ. eventual consistency) - данные могут быть некоторое время рассогласованы, но приходят к согласованию через некоторое время; отсутствие зависимости от типов хранилищ;
линейная масштабируемость (добавление процессоров увеличивает производительность).
[0024] Введено долговременное хранилище на шардированной базе данных на основе технологии Oracle Sharding, с использованием механизма репликации, для поддержания возможности системы работать в режиме Active-Active.
[0025] В решении применен механизм работы с описанием бизнес-логики работы приложения в декларативном стиле на базе скриптового языка (Lua - мультипарадигменный язык программирования) для обеспечения гибкости настройки исполнения бизнес-сценариев без остановки системы и возможности применения канареечных релизов для отработки новых бизнес-функций на ограниченном объеме и нагрузке.
[0026] Также в системе используется BGP протокол динамической маршрутизации, что обеспечивает работу с сетями уровня L3.
[0027] Повышенная отказоустойчивость системы достигается за счет того, что система разделена на два параллельно работающих ЦОД, выполняющих синхронно все функции. Благодаря подключению к единым серверам хранения данных и реализации функции репликации данных между ЦОД, при отказе одного из компонентов, система продолжает работать в прежнем режиме без сбоев и потери данных. Также данная архитектура позволяет без отключения всей системы проводить модернизацию компонентов или наращивать их количество.
[0028] На Фиг. 1 представлена общая схема заявленной системы обработки трафика транзакционных данных платежных систем (100).
[0029] Заявленная система (100) представляет собой два параллельно работающих взаимосвязанных центра обработки данных каждый из которых содержит, по меньшей мере один сервер обработки и балансировки входящего трафика (200), по меньшей мере один сервер обработки (900), по меньшей мере один сервер долгосрочного хранения данных (600), по меньшей мере один сервер оперативного хранения данных (700) по меньшей мере один сервер взаимодействия с внешними системами (400), распределенный брокер сообщений (500), по меньшей мере один сервер для хранения исторических логов (800). Все компоненты системы связаны между собой каналами для передачи данных.
[0030] Сервера обработки и балансировки входящего трафика (200) предназначены для балансировки входящего трафика в зависимости от нагрузки и доступности серверов приложений в рамках нескольких цодов.
[0031] Сервера обработки и балансировки входящего трафика (200) выполнены с возможностью передачи сообщений между внутренними компонентами системы во внутреннем формате.
[0032] Сервера (200) осуществляют: подключение к внешним системам, открытие логического подключения, закрытие логического подключения, обработку сетевого трафика от внешних систем, отправку сообщений внешним системам, генерацию идентификатора транзакционной операции.
[0033] Также сервера (200) выполнены с возможностью постановки в очередь процессов компонентов системы в соответствии с указанным получателем.
[0034] Сервера (200) обрабатывают входящие сообщения из очереди и отправляют сообщения на обработку в очередь процессов компонентов системы в соответствии с указанным получателем.
[0035] Сервера (200) осуществляют логирование операций и отправку сообщений в распределенный брокер сообщений (500).
[0036] Каждый сервер системы (100) пишет свой собственный log файл, который хранится в локальном каталоге сервера (800). Запись лога ведется построчно. Объем выводимых в лог данных задается настройками сервера.
[0037] С заданной периодичностью локальные файлы логов выделяются в отдельный файл и архивируются на отдельный сервер (800).
[0038] Параллельно с основной записью лога, сообщения отмеченные меткой AUDIT, записываются в локальную очередь /csaudit серверов (200). Сервера (200) при появлении сообщения в очереди /csaudit вычитывают его и преобразуют в формат json.
[0039] Преобразованное сообщение отправляется в распределенный брокер сообщений (500). После передачи сообщения в распределенный брокер сообщений (500) сообщение становится доступным для просмотра в интерфейсах системы.
[0040] Сервера (200) осуществляют управление таймерами обработки операций между серверами. При попадании операции в систему, взводится таймер, который определяет временной интервал активности операции в системе. Сервера (200) выполнены с возможностью взведения таймера обработки операций между серверами и остановки таймера в случае исполнения операции системой.
[0041] Сервера обработки (900) выполнены с возможностью переформатирования и отправки сообщений на маршрутизацию во внешнюю систему.
[0042] Сервера (900) обеспечивают взаимодействие с защищенным аппаратным хранилищем данных (HSM) и управление криптографическими операциями. Сервера обработки (900) осуществляют управление правилами работы с HSM, подключение к HSM, шифрование и дешифровку сообщений и данных в сообщениях, контроль подключения к HSM, разбор разных типов сообщений (запросов), формирование команд к устройствам (смена сетевых сессионных ключей типа Key Pin Encryption, подпись команды эмитентского скрипта, шифрование команды эмитентского скрипта), отправка команд к устройству HSM, прием ответов на команду от устройства HSM.
[0043] Также сервера обработки (900) обеспечивают копирование данных между ЦОД. Репликация - механизм синхронизации содержимого нескольких копий объекта (например, содержимого базы данных). Репликация - это процесс, под которым понимается копирование данных из одного источника на другой (между ЦОД). Данная функция обеспечивает синхронизацию двух параллельно работающих ЦОД, что позволяет при отказе какого-либо компонента в системе сохранить работоспособность всей системы. Также при необходимости модификации системы, данная возможность позволяет перевести весь функционал на один ЦОД, пока во втором ЦОД производится замена оборудования.
[0044] Сервера (900) осуществляют преобразование сообщений в заданный формат сетевого обмена (преобразование сообщений из международных платежных систем (МПС) (Mastercard, Visa, Мир и др.) во внутренний формат системы, а также преобразование ответного сообщения системы в формат МПС).
[0045] Сервера (900) выполнены с возможностью постановки в очередь процессов компонентов системы в соответствии с указанным получателем. Сервера (900) обрабатывают входящие сообщения из очереди и отправляют сообщения на обработку в очередь процессов компонентов в соответствии с указанным получателем.
[0046] Сервера обработки (900) выполняют логирование операций с последующей отправкой сообщений в распределенный брокер сообщений (500). Сервера (900) осуществляют: разбор файлов-логов процессов, получение сообщений от компонентов системы, отправку полученных сообщений в распределенный брокер сообщений (500).
[0047] Каждый компонент системы пишет свой собственный log файл, который хранится в локальном каталоге сервера. Запись лога ведется построчно. При этом объем выводимых в лог данных задается настройками сервера. С заданной периодичностью локальные файлы логов выделяются в отдельный файл и архивируются на сервер для хранения исторических логов системы (800). Параллельно с основной записью лога, сообщения отмеченные меткой AUDIT, записываются в локальную очередь /csaudit сервера. При появлении сообщения в очереди /csaudit сервера (900) вычитывает его и преобразуют в формат json. Преобразованное сообщение отправляется в распределенный брокер сообщений (500). После передачи сообщения в брокер сообщений (500), оно становится доступным для просмотра в интерфейсах системы.
[0048] Сервера (900) выполняют сценарную обработку сообщений и контроль исполнения сценариев, включающий, по меньшей мере контроль тайминга отправки сообщений и проверку дупликации данных.
[0049] Сервера (900) выполнены с возможностью идентификации банковских карт и маршрутизации сообщений в соответствии с идентифицированными данными банковских карт. Сервера (900) обеспечивают проверку принадлежности банковских карт относительно справочника Bank Identification Number (BIN), выбор получателя сообщения, возврат сообщения на обработку в систему.
[0050] Сервера (900) выполнены с возможностью установки признака необходимости проверки транзакции, а также отправки транзакции на проверку в систему фрод мониторинга. Система фрод мониторинга, предназначенная для оценки финансовых транзакций в Интернете на предмет подозрительности с точки зрения мошенничества и предлагающая рекомендации по их дальнейшей обработке.
[0051] Сервера (900) осуществляют управление таймерами обработки операций между серверами. При попадании операции в систему, взводится таймер, который определяет временной интервал активности операции в системе. Сервера (900) выполнены с возможностью взведения таймера обработки операций между серверами и остановки таймера в случае исполнения операции системой.
[0052] Сервера (900) выполнены с возможностью реализации и отмен сценариев обработки операций эмитента. Сервера (900) осуществляют логирование действий, кеширование правил автоматической досылки сообщений, проверку соответствия параметров сообщения параметрам правил автоматической досылки сообщений, формирование сообщений автоматической досылки, ведение счетчиков автоматической досылки.
[0053] Сервера (900) выполнены с возможностью проверки объектов транзакции на ограничения (проверка суммы транзакции, проверка контрагента на ограничения и т.д.). Сервера (900) осуществляют: проверку объектов транзакций в стоп листах, а также осуществляет информирование о результатах проверки.
[0054] Сервера взаимодействия с внешними системами (400) осуществляют взаимодействия с внешними системами и выполнены с возможностью обмена данными с внешними системами, аутентификации и авторизации пользователя системы.
[0055] Распределенный брокер сообщений (500) выполнен с возможностью передачи данных между компонентами системы (100) и реализован в виде сервера.
[0056] Сервера долгосрочного хранения данных (600).
Построенные на технологии Oracle sharding, эти сервера хранят транзакционные настроечные данные, справочники, а также данные о выполненных транзакциях.
[0057] Сервера оперативного хранения данных (700).
Построенные на продукте Apache Ignite (компания GridGain), сервера (700), необходимы для хранения оперативных данных, которые используются для обработки входящего/исходящего трафика. Эти оперативные данные включают в себя: справочники, промежуточные шаги транзакции.
[0058] Сервера для хранения исторических логов системы (800). Все компоненты системы (100) пишут лог и отправляют его на сервер хранения исторических логов системы (800).
[0059] Кроме того, сервер обработки и балансировки входящего трафика (200) выполнен с возможностью обработки сетевого трафика от внешних систем и генерации идентификатора операции.
[0060] Сервер обработки (900), выполнен с возможностью репликации данных в виде двух встречных независимых потоков.
[0061] Каждый сервер системы дополнительно выполнен с возможностью передачи метрики во внешние системы мониторинга.
[0062] На Фиг. 5 представлен пример вычислительного устройства, на базе которого могут быть реализованы сервера системы (100).
[0063] В общем случае, вычислительное устройство (300) содержит объединенные общей шиной информационного обмена один или несколько процессоров (301), средства памяти, такие как ОЗУ (302) и ПЗУ (303), интерфейсы ввода/вывода (304), устройства ввода/вывода (1105), и устройство для сетевого взаимодействия (306).
[0064] Процессор (301) (или несколько процессоров, многоядерный процессор и т.п.) может выбираться из ассортимента устройств, широко применяемых в настоящее время, например, таких производителей, как: Intel™, AMD™, Apple™, Samsung Exynos™, MediaTEK™, Qualcomm Snapdragon™ и т.п. Под процессором или одним из используемых процессоров в устройстве (300) также необходимо учитывать графический процессор, например, GPU NVIDIA или Graphcore, тип которых также является пригодным для полного или частичного выполнения исполнения серверов системы (100), а также может применяться для обучения и применения моделей машинного обучения в различных информационных системах.
[0065] ОЗУ (302) представляет собой оперативную память и предназначено для хранения исполняемых процессором (301) машиночитаемых инструкций для выполнения необходимых операций по логической обработке данных. ОЗУ (302), как правило, содержит исполняемые инструкции операционной системы и соответствующих программных компонент (приложения, программные модули и т.п.). При этом в качестве ОЗУ (302) может выступать доступный объем памяти графической карты или графического процессора.
[0066] ПЗУ (303) представляет собой одно или более устройств постоянного хранения данных, например, жесткий диск (HDD), твердотельный накопитель данных (SSD), флэш-память (EEPROM, NAND и т.п.), оптические носители информации (CD-R/RW, DVD-R/RW, BlueRay Disc, MD) и др.
[0067] Для организации работы компонентов вычислительного устройства (300) и организации работы внешних подключаемых устройств применяются различные виды интерфейсов В/В (304). Выбор соответствующих интерфейсов зависит от конкретного исполнения вычислительного устройства, которые могут представлять собой, не ограничиваясь: PCI, AGP, PS/2, IrDa, FireWire, LPT, COM, SATA, IDE, Lightning, USB (2.0, 3.0, 3.1, micro, mini, type C), TRS/Audio jack (2.5, 3.5, 6.35), HDMI, DVI, VGA, Display Port, RJ45, RS232 и т.п.
[0068] Для обеспечения взаимодействия пользователя с вычислительным устройством (300) применяются различные средства (305) В/В информации, например, клавиатура, дисплей (монитор), сенсорный дисплей, тач-пад, джойстик, манипулятор мышь, световое перо, стилус, сенсорная панель, трекбол, динамики, микрофон, средства дополненной реальности, оптические сенсоры, планшет, световые индикаторы, проектор, камера, средства биометрической идентификации (сканер сетчатки глаза, сканер отпечатков пальцев, модуль распознавания голоса) и т.п.
[0069] Средство сетевого взаимодействия (306) обеспечивает передачу данных посредством внутренней или внешней вычислительной сети, например, Интранет, Интернет, ЛВС и т.п. В качестве одного или более средств (306) может использоваться, но не ограничиваться: Ethernet карта, GSM модем, GPRS модем, LTE модем, 5G модем, модуль спутниковой связи, NFC модуль, Bluetooth и/или BLE модуль, Wi-Fi модуль и др.
[0070] Представленные материалы заявки раскрывают предпочтительные примеры реализации технического решения и не должны трактоваться как ограничивающие иные, частные примеры его воплощения, не выходящие за пределы испрашиваемой правовой охраны, которые являются очевидными для специалистов соответствующей области техники.
1. Система обработки трафика транзакционных данных платежных систем, содержащая взаимосвязанные между собой два центра обработки данных (ЦОД), каждый из которых содержит:
по меньшей мере один сервер обработки и балансировки входящего трафика, выполненный с возможностью:
получения и отправки сообщений при взаимодействии с внешними потребителями;
передачи сообщений между внутренними компонентами системы во внутреннем формате;
постановки в очередь процессов компонентов системы в соответствии с указанным получателем;
логирования операций и последующей отправки сообщений в распределенный брокер сообщений;
управления таймерами обработки операций между серверами;
по меньшей мере один сервер обработки, выполненный с возможностью:
переформатирования и отправки сообщений на маршрутизацию во внешнюю систему;
взаимодействия с защищенным аппаратным хранилищем данных (HSM), управления криптографическими операциями и выполнения криптографических проверок;
копирования данных между ЦОД;
преобразования сообщений в заданный формат сетевого обмена;
постановки в очередь процессов компонентов системы в соответствии с указанным получателем;
логирования операций и последующей отправки сообщений в распределенный брокер сообщений;
сценарной обработки сообщений и контроля исполнения сценариев, включающих по меньшей мере контроль тайминга отправки сообщений и проверку дупликации данных;
идентификации банковских карт и маршрутизации сообщений в соответствии с идентифицированными данными банковских карт;
установки признака необходимости проверки транзакции, а также отправки транзакции на проверку в систему фрод мониторинга;
управления таймерами обработки сообщений между серверами и компонентами системы;
реализации и отмен сценариев обработки операций эмитента;
проверки объектов транзакции на ограничения;
по меньшей мере один сервер взаимодействия с внешними системами, выполненный с возможностью:
обмена данными с внешними системами;
аутентификации и авторизации пользователя;
распределенный брокер сообщений, выполненный с возможностью передачи данных между компонентами системы;
по меньшей мере один сервер долгосрочного хранения данных;
по меньшей мере один сервер оперативного хранения данных;
по меньшей мере один сервер для хранения исторических логов системы.
2. Система по п. 1, характеризующаяся тем, что сервер обработки и балансировки входящего трафика выполнен с возможностью обработки сетевого трафика от внешних систем и генерации идентификатора операции.
3. Система по п. 1, характеризующаяся тем, что сервер обработки выполнен с возможностью репликации данных в виде двух встречных независимых потоков.
4. Система по п. 1, характеризующаяся тем, что каждый сервер системы дополнительно выполнен с возможностью передачи метрики во внешние системы мониторинга.
