Способ и система для мониторинга работы системы помощи с распознаванием голоса в чувствительной к данным среде

Изобретение относится к области вычислительной техники для мониторинга работы системы помощи с распознаванием голоса в чувствительной к данным среде. Технический результат заключается в сохранении конфиденциальности данных пользователя при оценке работы системы помощи посредством использования только агрегированных данных. Технический результат достигается за счет определения одного или нескольких обезличенных показателей работы системы помощи; определения одного или нескольких значений обезличенного показателя работы для одного или нескольких анонимных показателей работы во время обработки входных данных клиента посредством системы помощи; вывода и/или сохранения определенного одного или нескольких значений обезличенного показателя работы. 3 н. и 14 з.п. ф-лы, 4 ил.

 

Область техники

Настоящее изобретение относится к обработке данных распознавания голоса. В частности, изобретение относится к способам и системам для мониторинга работы системы помощи с распознаванием голоса, более конкретно, в чувствительной к данным среде.

Уровень техники

Системы помощи с распознаванием голоса широко используются в растущем числе приложений. Требования касательно работы системы помощи в отношении распознавания языка, использования языка и распознавания контента высоки. Пользователи ожидают, что системы помощи работают на том же уровне обслуживания, что и люди-профессионалы в службах технической поддержки или сотрудники-бортпроводники.

Чтобы улучшить работу систем помощи требуется осуществлять мониторинг метрик работы, включающих в себя характеристики ответа, интенсивность запросов, мощность или база знаний. С этой целью настоящие системы помощи собирают и сохраняют данные и вычисляют агрегированную статистику на основании этих данных. Однако, данные обычно содержат персональную информацию пользователя. Таким образом, по нормам, у пользователя есть возможность приостановки сбора персональных данных. Если пользователь выбирает эту возможность, то данные недоступны для статистической оценки работы системы помощи.

Вследствие этого, настоящее изобретение предоставляет способ и систему для мониторинга работы системы помощи с распознаванием голоса в чувствительной к данным среде. В соответствии с настоящим изобретением осуществляется агрегация обезличенных (anonymized) данных во время обработки данных посредством системы помощи, позволяя создавать оценку работы системы помощи с использованием только агрегированных данных.

Сущность изобретения

Первый аспект настоящего изобретения относится к способу для мониторинга работы системы помощи с распознаванием голоса в чувствительной к данным среде, при этом система помощи содержит одно или несколько клиентских устройств и сервер, причем сервер содержит компонент мониторинга.

Способ содержит этапы, на которых:

- определяют, посредством по меньшей мере одного клиентского устройства из одного или нескольких клиентских устройств, входные данные клиента;

- обрабатывают, посредством системы помощи, входные данные клиента;

- определяют, посредством компонента мониторинга, один или несколько обезличенных показателей работы системы помощи;

- определяют, посредством компонента мониторинга, одно или несколько значений обезличенного показателя работы для одного или нескольких анонимных показателей работы во время обработки входных данных клиента;

- выводят и/или сохраняют, посредством компонента мониторинга, определенное одно или несколько значений обезличенного показателя работы.

Цель способа состоит в мониторинге работы системы помощи в чувствительной к данным среде. Определяются и обрабатываются входные данные клиента. Ввод может быть принят посредством микрофона одного или нескольких клиентских устройств, таких как мобильные телефоны или выделенные устройства. Обработка входных данных клиента системой помощи может содержать преобразование речи в текст, обработку естественного языка и/или преобразование текста в речь. Обезличенные показатели работы системы помощи и значения этих показателей определяются во время обработки данных. Дополнительно или в качестве альтернативы, обезличенные показатели работы системы помощи могут быть предварительно определенными. Обезличенные показатели работы могут содержать показатели по меньшей мере частей запроса клиента или входных данных клиента, по меньшей мере частей ответов системы помощи клиенту, ошибки распознавания или технические проблемы. Кроме того, обезличенные показатели работы могут содержать показатели количества, типа или языка активации системы помощи или подробности использования мощности систем помощи среди прочего. Значения обезличенных показателей работы могут включать в себя подсчеты, объемы данных или времена обработки. Определенные значения обезличенных показателей работы могут быть сохранены или выведены. Сохраненные показатели могут быть использованы для сравнения с показателями, сохраненными в другое время, или с использованием другой версии системы помощи; вывод может быть использован для идентификации источников ошибки во время работы систем помощи и для улучшения системы. Поскольку используются только обезличенные показатели работы, то никакие персональные данные пользователя не собираются и не обрабатываются. Таким образом, способ не зависит от разрешения пользователя. Однако способ может содержать возможность разрешения использования персональных данных пользователя для мониторинга работы системы помощи. Эта возможность будет обеспечивать возможность специализированного мониторинга работы и будет разрешать последующее использование этих специализированных данных для адаптированного улучшения работы.

Кроме того, путем определения одного или нескольких значений обезличенного показателя работы для одного или нескольких анонимных показателей работы во время обработки входных данных клиента, улучшается мониторинг системы, более конкретно, увеличивается скорость мониторинга. Таким образом, результат мониторинга может быть выведен и обработан раньше, например, почти в режиме реального времени, что приводит к увеличенной эффективности способа мониторинга.

В соответствии с вариантом осуществления, один или несколько анонимных показателей работы являются согласованными с предварительно определенными общими нормами защиты данных. Посредством чего гарантируется то, что никакие персональные данные клиента не используются для определения показателей работы и их значений. Таким образом повышается безопасность способа мониторинга.

В соответствии с другим вариантом осуществления, этап, на котором определяют, посредством компонента мониторинга, одно или несколько значений обезличенного показателя работы, содержит этап, на котором увеличивают один или несколько счетчиков показателя работы, в частности, множество соответствующих счетчиков для множества интервалов времени. Увеличение счетчиков показателей работы дополнительно обеспечивает обработку обезличенных данных. Например, может быть подсчитано количество активаций системы помощи через пробуждающее слово или через кнопку в течение одного дня или одной недели. В качестве другого примера, может быть подсчитано количество запросов клиента к системе помощи во время одного разговора. Использование таких счетчиков обеспечивает мониторинг использования и/или работы системы помощи, не допуская персональных выводов, и/или при этом персональные данные пользователя, такие как местоположение, время и точный аудио ввод пользователя являются неважными.

В соответствии с вариантом осуществления, один или несколько счетчиков показателя работы указывают эффективность обработки системы помощи, время обработки системы помощи, характеристики ответа системы помощи, ошибки обработки системы помощи, использование емкости и/или мощности клиентского устройства и/или сервера. Определение нескольких счетчиков показателя работы в нескольких категориях обеспечивает мониторинг разных характеристик в разных категориях системы помощи. Например, может осуществляться мониторинг количественных показателей, указывающих работу системы помощи во время разговора с клиентом, включающих в себя количество диалоговых переходов, количество запросов или продолжительность разговора. В другом примере, может осуществляться мониторинг работы системы технической помощи, включая сетевой трафик и серверное время. Таким образом, информация о технических характеристиках или характеристиках контента может быть сохранена или выведена и использована для улучшения соответствующих категорий системы помощи.

В соответствии с другим вариантом осуществления, один или несколько счетчиков показателя работы указывают поведение использования клиентского устройства, интенсивность запросов одного или нескольких клиентских устройств, один или несколько типов входных данных клиента, и/или характеристики программного обеспечения и/или аппаратного обеспечения клиентского устройства. Посредством чего могут быть определены показатели удовлетворенности клиента и результирующей частоты использования системы помощи. Кроме того, например, может быть осуществлен мониторинг платформы клиентского устройства и характеристик программного обеспечения или аппаратного обеспечения. Это позволяет улучшать совместимость системы помощи с несколькими платформами или обеспечивает определение того, может ли быть полезной передача исполнения вычислительных процессов от системы помощи к клиентскому устройству.

В соответствии с вариантом осуществления, способ дополнительно содержит этап, на котором сравнивают, посредством компонента мониторинга, одно или несколько значений показателя работы с одним или несколькими ранее определенными значениями показателя работы и/или ранее определенными пороговыми значениями показателя работы. Сравнение значения показателей работы с ранее определенными позволяет осуществлять мониторинг тенденций, например, после активации новой версии системы помощи. Например, может быть сравнена работа системы в конкретной категории, такой как распознавание пробуждающего слова для активации системы первой версии и второй версии для системы помощи. Таким образом, могут быть извлечены указания улучшения системы. Сравнение значений показателя работы с ранее определенными пороговыми величинами может обеспечить извлечение указаний неисправностей системы помощи, которые выходят за предварительно определенные требования к системе. Например, допустимое количество повторов запроса пользователя до того, как система помощи создает подходящий ответ, может быть предопределенным. Впоследствии, ответ может быть выведен системой, если данное количество превышено.

В соответствии с другим вариантом осуществления, способ дополнительно содержит этапы, на которых:

- формируют, посредством системы помощи, выходные данные клиента на основании обработанных входных данных клиента,

- выводят, посредством клиентского устройства, выходные данные клиента,

- удаляют, посредством системы помощи, входные данные клиента и выходные данные клиента.

Этап, на котором формируют выходные данные клиента на основании обработанных входных данных клиента, может содержать преобразование речи в текст, обработку естественного языка и преобразование текста в речь. Соответствующий ответ, т.е. выходные данные клиента, посредством системы помощи для пользователя, затем выводится через клиентское устройство. Входные и выходные данные клиента могут содержать персональную информацию о пользователе. Таким образом, после формирования и вывода выходных данных клиента, как входные данные клиента, так и выходные данные клиента удаляются. В примере, типичный период времени для хранения данных в системе помощи AR может составлять 5с. Путем удаления входных данных клиента и выходных данных клиента и/или любых промежуточных данных, в частности, непосредственно после того, как входные данные клиента или выходные данные клиента обработаны, дополнительно повышается защита данных способа мониторинга.

В соответствии с другим вариантом осуществления, компонент мониторинга содержится в отдельном контейнере Docker на сервере. Доступ к компоненту мониторинга может быть осуществлен через интерфейс внутренней закрытой сети. Отделение компонента мониторинга от других компонентов сервера обеспечивает гибкую реализацию компонента для разных серверных сред и может дополнительно повысить защиту данных.

В соответствии с другим вариантом осуществления, система помощи является многоязычной системой помощи, в частности, при этом один или несколько счетчиков показателя работы указывают вхождение языка входных данных клиента. Поддерживаемые языки могут включать в себя английский, немецкий, французский и испанский среди прочих. Обеспечение идентификации системой множества языков расширяет область применений, например, чтобы включать туристические среды. Реализация показателей работы, которые указывают вхождение языка, может обеспечивать мониторинг сред использования системы и позволяет увеличивать счетчики отдельно для каждого языка. Таким образом, мониторинг работы системы помощи может быть осуществлен освобожденным от используемого языка, как, впрочем, и в зависимости от используемого языка.

Второй аспект данного изобретения относится к компоненту мониторинга для использования в системе помощи с распознаванием голоса, при этом компонент мониторинга выполнен с возможностью:

- определения одного или нескольких обезличенных показателей работы системы помощи;

- определения одного или нескольких значений обезличенного показателя работы для одного или нескольких анонимных показателей работы во время обработки входных данных клиента посредством системы помощи;

- вывода и/или сохранения определенного одного или нескольких значений обезличенного показателя работы.

Компонент мониторинга может быть частью сервера системы помощи. Компонент мониторинга определяет обезличенные показатели работы и их значения. Компонент мониторинга затем выводит и сохраняет определенные значения обезличенного показателя работы. Значения могут быть сохранены в базе данных на сервере или в базе данных в компоненте мониторинга. Сохраненные данные могут быть использованы для сравнения значений показателя работы, определенных в течение разных интервалов времени. Таким образом, может быть осуществлен мониторинг и сравнение работы разных версий системы помощи. Значения могут, в качестве альтернативы, быть выведены компонентом мониторинга. Данный вывод может содержать указания для улучшения работы.

В соответствии с вариантом осуществления, один или несколько анонимных показателей работы являются согласованными с предварительно определенными общими нормами защиты данных. Посредством чего гарантируется то, что никакие персональные данные клиента не используются для определения показателей работы и их значений.

В соответствии с вариантом осуществления, определение одного или нескольких значений обезличенного показателя работы содержит увеличение одного или нескольких счетчиков показателя работы, в частности, множества соответствующих счетчиков для множества интервалов времени. Увеличение счетчиков показателей работы дополнительно обеспечивает обработку обезличенных данных. Например, может быть подсчитано количество активаций системы помощи через пробуждающее слово или через кнопку в течение одного дня или одной недели. В качестве другого примера, может быть подсчитано количество запросов клиента к системе помощи во время одного разговора.

В соответствии с вариантом осуществления, один или несколько счетчиков показателя работы указывают эффективность обработки системы помощи, время обработки системы помощи, характеристики ответа системы помощи, ошибки обработки системы помощи, использование емкости и/или мощности клиентского устройства и/или сервера. Например, может осуществляться мониторинг количественных показателей, указывающих работу системы помощи во время разговора с клиентом, включающих в себя количество диалоговых переходов, количество запросов или продолжительность разговора. В другом примере, может осуществляться мониторинг работы системы технической помощи, включая сетевой трафик и серверное время.

В соответствии с вариантом осуществления, один или несколько счетчиков показателя работы указывают поведение использования клиентского устройства, интенсивность запросов одного или нескольких клиентских устройств, один или несколько типов входных данных клиента, и/или характеристики программного обеспечения и/или аппаратного обеспечения клиентского устройства. Например, может быть осуществлен мониторинг платформы клиентского устройства и характеристик программного обеспечения или аппаратного обеспечения.

В соответствии с вариантом осуществления, компонент мониторинга дополнительно выполнен с возможностью сравнения одного или нескольких значений показателя работы с одним или несколькими ранее определенными значениями показателя работы и/или ранее определенными пороговыми значениями показателя работы. Например, могут быть сравнены значения показателя работы в разные дни недели или значения показателя работы разных версий системы помощи. В другом примере значения показателя работы могут быть сравнены с предварительно определенными пороговыми величинами требований к системе.

В соответствии с вариантом осуществления, компонент мониторинга содержится в отдельном контейнере Docker на сервере. Доступ к компоненту мониторинга может быть осуществлен через интерфейс внутренней закрытой сети.

Третий аспект изобретения относится к системе помощи с распознаванием голоса, причем система помощи содержит: одно или несколько клиентских устройств; и сервер, причем сервер содержит компонент мониторинга; при этом система помощи выполнена с возможностью выполнения раскрытого выше способа. Одно или несколько клиентских устройств могут быть выполнены в виде устройств, содержащих микрофон, таких как мобильные телефоны или выделенные устройства. Сервер может содержать, в дополнение к компоненту мониторинга, контейнеры для преобразования речи в текст, обработки естественного языка и преобразования текста в речь. Компонент мониторинга может содержаться в отдельном контейнере. Сервер может дополнительно содержать контроллер. Компоненты и контейнеры сервера могут осуществлять связь через внутреннюю закрытую сеть. Все свойства способа настоящего изобретения также применяются к системе.

Краткое описание чертежей

Признаки, цели и преимущества настоящего изобретения станут более очевидны из подробного описания, изложенного ниже, при рассмотрении совместно с чертежами, на которых аналогичные номера позиций относятся к аналогичным элементам.

Фигура 1 изображает блок-схему способа для мониторинга работы помощника с распознаванием голоса.

Фигура 2 изображает примерный вывод значений показателя работы по характеристикам распознавания запроса системы помощи, сформированных способом.

Фигура 3 изображает примерный вывод значений показателя работы по времени обработки системы помощи, сформированных способом.

Фигура 4 изображает структурную схему системы для мониторинга работы системы помощи с распознаванием голоса.

Номера позиций

100 Способ для мониторинга работы систем помощи с распознаванием голоса

102-112 Этапы способа 100

300 Система для оценки работы помощника с распознаванием голоса

402 Клиентское устройство

404 Сервер

406 Сетевой интерфейс

408 Компонент мониторинга

Подробное описание предпочтительных вариантов осуществления

Фигура 1 изображает блок-схему способа 100 для мониторинга работы системы помощи с распознаванием голоса в чувствительной к данным среде. В предпочтительном варианте осуществления, система является многоязычной системой помощи. На этапе 102 входные данные клиента определяются посредством по меньшей мере одного клиентского устройства. Входные данные клиента могут содержать аудиоданные, содержащие запрос пользователя к системе помощи. Входные данные клиента затем обрабатываются системой помощи на этапе 104. С этой целью по меньшей мере часть входных данных клиента может быть перенесена на сервер системы распознавания. Другими словами: Входные данные клиента могут быть обработаны посредством клиентского устройства и/или сервера. Обработка входных данных может содержать преобразование речи в текст, обработку естественного языка и преобразование текста в речь. Входные данные клиента могут содержать персональную информацию о пользователе системы помощи, такую как время, местоположение, ID устройства, как, впрочем, и персональную информацию, которая содержится в аудиоданных, такую как голос пользователя и персональный контент. В предпочтительном варианте осуществления, система помощи формирует ответ, т.е. выходные данные клиента и данный ответ выводится через клиентское устройство. Для защиты данных входные и выходные данные клиента удаляются после вывода.

На этапе 106 компонент мониторинга системы помощи определяет один или несколько обезличенных показателей работы системы помощи. Эти показатели работы не зависят от персональной информации пользователя. В предпочтительном варианте осуществления, показатели работы находятся в соответствии с предварительно определенными общими нормами защиты данных. На этапе 108 компонент мониторинга определяет одно или несколько значений обезличенного показателя работы для одного или нескольких анонимных показателей работы во время обработки входных данных клиента. В предпочтительном варианте осуществления, определение значений показателя работы содержит увеличение одного или нескольких счетчиков показателя работы. Такие счетчики могут увеличиваться в течение предварительно определенного периода времени и/или с использованием входных данных нескольких клиентских устройств.

В предпочтительном варианте осуществления способ дополнительно содержит сравнение значений показателя работы с ранее определенными или предварительно определенными пороговыми значениями на этапе 110.

Определенное одно или несколько значений обезличенного показателя работы выводятся или сохраняются компонентом мониторинга на этапе 112. Вывод может содержать, например, значения показателя работы, сравнения значений показателя работы, определенных в течение разных периодов времени, или инициирующие сигналы на основании значений показателя работы или сравнений значений показателя работы. Примерные выводы показаны на Фигуре 2 и 3 и описаны ниже. Определенные показатели работы могут в качестве альтернативы или дополнительно быть сохранены в базе данных и компонент мониторинга может осуществлять к ним доступ позже, например, для сравнений значения.

Примерные обезличенные показатели работы и значения содержат категории касательно эффективности работы, такие как характеристики скорости ответа, ошибка распознавания, технические проблемы, изменения характеристик скорости между двумя наборами данных, например, определенные в разные моменты времени. Примерный вывод значений обезличенного показателя работы для этих категорий показан на Фигуре 2. Показатели работы также могут содержать показатели использования, такие как количество активаций в рамках предварительно определенного периода времени, тип активации (пробуждающее слово, кнопка или проактивный разговор) и/или язык активации в случае многоязычной системы помощи. Применительно к многоязычной системе распознавания голоса, в предпочтительном варианте осуществления, значения показателя работы могут быть подсчитаны для каждого языка отдельно. Кроме того, дополнительные параметры работы могут быть определены в сравнении с одноязычной системой помощи, такие как эффективность работы по языкам, количество активаций устройства по языкам, распределение запросов по языкам. Например, определение значений показателя работы может включать в себя увеличение счетчиков для количества активаций.

Кроме того, показатели работы могут содержать показатели мощности системы, включая общее количество активаций, количество активаций из расчета на устройство, время разговоров, сетевой трафик, серверное время и/или клиентских устройств. Показатели клиентского устройства могут включать в себя показатели количества клиентских устройств, соединенных с системой помощи, операционную систему клиентских устройств. Примерный вывод значений обезличенного показателя работы в виде времени обработки системы помощи показан на Фигуре 3. Например, определение значений показателя работы может включать в себя увеличение счетчиков, указывающих время разговора или серверное время обработки.

Кроме того, индикаторы могут включать в себя системные знания через потоки диалога, количество переходов в диалоге, наиболее частые вопросы и/или наиболее частые темы запроса. Показатели также могут включать в себя использование аппаратного обеспечения, содержащее загрузку CPU, памяти, HDD, NetHDD и/или SWAP.

Созданный вывод может быть распространен с использованием услуги по подписке. В частности, компонент мониторинга может формировать вывод, содержащий значения показателя работы, как показано на Фигурах 2 и 3. Данный вывод может быть преобразован в формат HTML или PDF и отправлен через интерфейс пользователя администратора предварительно определенному списку подписчиков через электронную почту в качестве прямой копии, точной копии и слепой точной копии. Распространяемый вывод может содержать все или выбранные значения показателя работы.

Фигура 4 изображает структурную схему системы 400 для мониторинга работы системы помощи с распознаванием голоса. Система 400 содержит одно или несколько клиентских устройств 402 для захвата запроса пользователя и определения входных данных клиента. В предпочтительном варианте осуществления, одно или несколько клиентских устройств может быть выполнено в виде мобильных телефонов, устройств или других устройств с подходящим микрофоном и громкоговорителем. Система дополнительно содержит сервер 404. Сервер содержит компонент 408 мониторинга, который доступен через сетевой интерфейс 406. В предпочтительном варианте осуществления компонент мониторинга является отдельным контейнером Docker. Сервер может дополнительно содержать контейнеры для преобразования речи в текст, обработки естественного языка и преобразования текста в речь, соответственно. Сервер может дополнительно содержать контроллер. Контейнеры могут осуществлять связь через закрытую внутреннюю сеть. Система 400 выполнена с возможностью исполнения способов всех вышеупомянутых вариантов осуществления.

ПЕРЕВОД ЧЕРТЕЖЕЙ

Перевод позиций к Фиг. 1

102 - Определяют входные данные клиента

104 - Обрабатывают входные данные клиента

106 - Определяют обезличенные показатели работы

108 - Определяют значения обезличенного показателя работы

110 - Сравнивают значения обезличенного показателя работы

112 - Выводят/сохраняют значения обезличенного показателя работы

Перевод позиций к Фиг. 2

Questions inside knowledge - Вопросы в рамках знаний

Questions outside knowledge - Вопросы за рамками знаний

Answers inside knowledge • Welcome messages - Ответы в рамках знаний • Приветственные сообщения

Out-of-topic questions • Incorrect usage • Inexact recognitions • Other minor technical errors - Вопросы вне темы • Неправильное использование • Неточные распознавания • Другие несущественные технические ошибки

Changes on Reply Performance - Изменения характеристик ответа

Reply on Intent - Ответ по смыслу

Recognition Errors - Ошибки распознавания

Technical issues - Технические проблемы

Total - Итого

Перевод позиций к Фиг. 3

Conversation Time - Время разговора

Device Listens - Прослушивания устройства

Device Replies - Ответы устройства

Server Time - Серверное время

Network - Сеть

Controller - Контроллер

Ext. Network - Внешняя сеть

Total Time - Общее время

+ХХХs - +XXс

+XXXms - +XXXмс

Перевод позиций к Фиг. 4

402 - Клиентское устройство

404 - Сервер

406 - Сетевой интерфейс

408 - Компонент мониторинга.

1. Способ для мониторинга работы системы помощи с распознаванием голоса в чувствительной к данным среде, при этом система помощи содержит одно или несколько клиентских устройств и сервер, причем сервер содержит компонент мониторинга, причем способ, содержащий этапы, на которых:

определяют, посредством по меньшей мере одного клиентского устройства из одного или нескольких клиентских устройств, входные данные клиента;

обрабатывают, посредством системы помощи, входные данные клиента;

определяют, посредством компонента мониторинга, один или несколько обезличенных показателей работы системы помощи;

определяют, посредством компонента мониторинга, одно или несколько значений обезличенного показателя работы для одного или нескольких анонимных показателей работы во время обработки входных данных клиента;

выводят и/или сохраняют, посредством компонента мониторинга, определенное одно или несколько значений обезличенного показателя работы.

2. Способ по п. 1, в котором один или несколько анонимных показателей работы являются согласованными с предварительно определенными общими нормами защиты данных.

3. Способ по п. 1 или 2, в котором этап, на котором определяют, посредством компонента мониторинга, одно или несколько значений обезличенного показателя работы, содержит этап, на котором увеличивают один или несколько счетчиков показателя работы, в частности, множество соответствующих счетчиков для множества интервалов времени.

4. Способ по любому предшествующему пункту, в котором один или несколько счетчиков показателя работы указывают эффективность обработки системы помощи, время обработки системы помощи, характеристики ответа системы помощи, ошибки обработки системы помощи, использование емкости и/или мощности клиентского устройства и/или сервера.

5. Способ по любому предшествующему пункту, в котором один или несколько счетчиков показателя работы указывают поведение использования клиентского устройства, интенсивность запросов одного или нескольких клиентских устройств, один или несколько типов входных данных клиента, и/или характеристики программного обеспечения и/или аппаратного обеспечения клиентского устройства.

6. Способ по любому предшествующему пункту, при этом способ дополнительно содержит этап, на котором:

сравнивают, посредством компонента мониторинга, одно или несколько значений показателя работы с одним или несколькими ранее определенными значениями показателя работы и/или ранее определенными пороговыми значениями показателя работы.

7. Способ по любому предшествующему пункту, при этом способ дополнительно содержит этапы, на которых:

формируют, посредством системы помощи, выходные данные клиента на основании обработанных входных данных клиента,

выводят, посредством клиентского устройства, выходные данные клиента,

удаляют, посредством системы помощи, входные данные клиента и выходные данные клиента.

8. Способ по любому предшествующему пункту, в котором компонент мониторинга содержится в отдельном контейнере Docker на сервере.

9. Способ по любому предшествующему пункту, в котором система помощи является многоязычной системой помощи, в частности, при этом один или несколько счетчиков показателя работы указывают вхождение языка входных данных клиента.

10. Компонент мониторинга для использования в системе помощи с распознаванием голоса, при этом компонент мониторинга выполнен с возможностью:

определения одного или нескольких обезличенных показателей работы системы помощи;

определения одного или нескольких значений обезличенного показателя работы для одного или нескольких анонимных показателей работы во время обработки входных данных клиента посредством системы помощи;

вывода и/или сохранения определенного одного или нескольких значений обезличенного показателя работы.

11. Компонент мониторинга по п. 10, в котором один или несколько анонимных показателей работы являются согласованными с предварительно определенными общими нормами защиты данных.

12. Компонент мониторинга по п. 10 или 11, в котором определение одного или нескольких значений обезличенного показателя работы содержит увеличение одного или нескольких счетчиков показателя работы, в частности, множества соответствующих счетчиков для множества интервалов времени.

13. Компонент мониторинга по любому из пп. 10-12, в котором один или несколько счетчиков показателя работы указывают эффективность обработки системы помощи, время обработки системы помощи, характеристики ответа системы помощи, ошибки обработки системы помощи, использование емкости и/или мощности клиентского устройства и/или сервера.

14. Компонент мониторинга по любому из пп. 10-13, в котором один или несколько счетчиков показателя работы указывают поведение использования клиентского устройства, интенсивность запросов одного или нескольких клиентских устройств, один или несколько типов входных данных клиента, и/или характеристики программного обеспечения и/или аппаратного обеспечения клиентского устройства.

15. Компонент мониторинга по любому из пп. 10-14, при этом компонент мониторинга дополнительно выполнен с возможностью сравнения одного или нескольких значений показателя работы с одним или несколькими ранее определенными значениями показателя работы и/или ранее определенными пороговыми значениями показателя работы.

16. Компонент мониторинга по любому из пп. 10-15, при этом компонент мониторинга содержится в отдельном контейнере Docker на сервере.

17. Система помощи с распознаванием голоса, причем система помощи, содержащая:

одно или несколько клиентских устройств; и

сервер, причем сервер содержит компонент мониторинга;

при этом система помощи выполнена с возможностью выполнения способа по любому из пп. 1-9.