Способы и системы для формирования обобщенного параметра метрики для а/в тестирования

Группа изобретений относится к средствам тестирования сетевых сервисов. Технический результат – повышение точности тестирования сервисов. Для этого предложены способ и система формирования обобщенного параметра метрики для А/В-тестирования, включающие в себя: получение первого параметра метрики для первого и второго множеств векторов признаков, причем сочетание первых параметров метрики указывает на направление изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии; получение второго параметра метрики для первого и второго множеств векторов признаков, причем сочетание вторых параметров метрики указывает на величину изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии; формирование обобщенного параметра метрики для первого и второго множеств векторов признаков, причем обобщенные параметры метрики совместно указывают на величину и направление изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии. 2 н. и 26 з.п. ф-лы, 3 ил.

 

Область техники

Изобретение относится к А/В-тестированию и, в частности, к способам и системам для формирования обобщенного параметра метрики.

Уровень техники

В последние годы А/В-тестирование превратилось в передовую технологию для совершенствования веб-сервисов, основанных на решениях, принимаемых с использованием анализа данных. В процессе А/В-тестирования одновременно сравниваются два варианта сервиса, обычно текущая версия (контрольная версия или версия А) и новая версия (тестовая или экспериментальная версия, в которой применено экспериментальное изменение, или версия В), посредством демонстрации их двум группам пользователей. А/В-тестирование используется многими поставщиками веб-сервисов, например поисковыми системами, электронными торговыми площадками и социальными сетями, такими как Amazon™, eBay™, Facebook™, Google™, LinkedIn™, Microsoft™, Netflix™, Yahoo™ и Yandex™. Для наиболее крупных веб-сервисов разработаны специальные экспериментальные платформы для крупномасштабного А/В-тестирования.

Одной из целей управляемых А/В-экспериментов является обнаружение влияния экспериментальных изменений, примененных в веб-сервисе, на степень вовлеченности пользователя. Проблема заключается в выборе применимого на практике подходящего критерия, поскольку он должен соответствовать двум основным требованиям, часто противоречивым.

Во-первых, критерий должен обеспечивать количественное значение, позволяющее сделать заключение об изменении качества системы, в частности, о знаке такого изменения. Иными словами, значение критерия должно четко интерпретироваться и должно соответствовать предпочтениям пользователя. Этот критерий называется направленностью или интерпретируемостью метрики. Как известно в данной области техники, многие критерии могут приводить к противоречивым интерпретациям и их использование на практике может ввести в заблуждение. Поэтому правильный выбор подходящего критерия представляет собой сложную задачу.

Во-вторых, когда экспериментальное изменение производит эффект (например, модификации влияют на поведение пользователя), критерий должен обнаруживать такое отличие для двух версий системы с высоким уровнем статистической значимости, чтобы отличать влияние такого изменения от шумов, наблюдаемых в отсутствие эффекта. Это свойство называется чувствительностью метрики. Общая проблема заключается в низкой чувствительности метрики в случаях, когда тестируется незначительная модификация или изменение системы влияет на небольшой объем пользовательского трафика.

В патенте США №8396875 (Online stratified sampling for classifier evaluation, Bennett et al.) описано определение принадлежности набора элементов к интересующему классу, где набор элементов разделяется на подмножества в зависимости от оценки, рейтинга или иного признака, сопоставленного с каждым элементом. Подмножества могут создаваться на основе оценки, связанной с каждым элементом, например, в виде интервала с одинаковой оценкой, или на основе оценки, связанной с распределением элементов всего множества, например, в виде пропорционального интервала. Определяется, как много элементов требуется выбрать из каждого подмножества, чтобы оценить весь набор элементов. Далее значения точности и отклонения определяются для каждого подмножества и затем объединяются, чтобы обеспечить общие значения точности и отклонения для всего множества.

В патентной заявке США №2016/253311 (Most impactful experiments, Xu et al.) описаны способы проведения А/В-тестирования онлайн-контента. Согласно различным вариантам осуществления изобретения формируется пользовательская спецификация метрики, связанной с работой онлайн-сервиса социальной сети. Затем определяется набор из одного или нескольких А/В-тестов онлайн-контента, причем каждый А/В-тест предназначен для определенного сегмента из числа пользователей онлайн-сервиса социальной сети. Далее каждый А/В-тест классифицируется в зависимости от предполагаемого влияния данного значения метрики на результат применения варианта экспериментального изменения в каждом А/В-тесте онлайн-сервиса социальной сети. Затем список из одного или нескольких классифицированных таким образом А/В-тестов отображается на клиентском устройстве посредством пользовательского интерфейса.

Раскрытие

Разработанные варианты осуществления настоящей технологии основываются на понимании разработчиками, по меньшей мере, одной технической проблемы, связанной с известными решениями.

Разработанные варианты осуществления настоящей технологии основываются понимании разработчиками того, что известные решения ориентированы на повышение чувствительности метрики, т.е. на обнаружение различий между версиями А и В с высоким уровнем статистической значимости, но направленность метрики, т.е. знак обнаруженного результата применения экспериментальной комбинации условий, может оставаться неопределенным.

Поэтому разработчики предложили способ и систему формирования обобщенного параметра метрики для А/В-тестирования.

Обобщенный параметр метрики для А/В-тестирования, обладающий чувствительностью и направленностью, может использоваться в качестве альтернативного или дополнительного параметра метрики для измерения действий пользователя. Кроме того, обобщенный параметр метрики может использоваться, когда отдельные параметры метрики не способны четко обнаруживать различие между тестируемыми вариантами.

Кроме того, формирование обобщенного параметра метрики, обладающего направленностью и чувствительностью, позволяет аналитикам принимать решения при тестировании даже незначительного изменения сервиса, а также позволяет оптимизировать использование вычислительной мощности и полосы пропускания канала, поскольку метрики с меньшей чувствительностью требуют и используют для достижения необходимого уровня чувствительности больше пользовательского трафика, влияющего на использование полосы пропускания канала.

В соответствии с первым аспектом настоящей технологии разработан реализуемый посредством компьютера способ формирования обобщенного параметра метрики, который может использоваться для выполнения реализуемого посредством компьютера А/В-тестирования реализуемого посредством компьютера сервиса, имеющего контрольную и экспериментальную версии, при этом способ выполняется на сервере и включает в себя следующие действия: прием посредством сервера набора данных, содержащего первое множество векторов признаков и второе множество векторов признаков, причем первое множество векторов признаков связано с взаимодействием пользователей из первого множества пользователей с контрольной версией реализуемого посредством компьютера сервиса в течение первого периода времени, а второе множество векторов признаков связано с взаимодействием пользователей из второго множества пользователей с экспериментальной версией реализуемого посредством компьютера сервиса в течение первого периода времени; получение посредством сервера первого контрольного параметра метрики для первого множества векторов признаков и первого экспериментального параметра метрики для второго множества векторов признаков, а также комбинации первого контрольного параметра метрики и первого экспериментального параметра метрики, причем такая комбинация, по меньшей мере, частично указывает на направление изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии реализуемого посредством компьютера сервиса и это направление может быть отрицательным или положительным; получение посредством сервера второго контрольного параметра метрики для первого множества векторов признаков и второго экспериментального параметра метрики для второго множества векторов признаков, а также комбинации второго контрольного параметра метрики и второго экспериментального параметра метрики, причем такая комбинация, по меньшей мере, частично указывает на величину изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии реализуемого посредством компьютера сервиса; формирование посредством сервера обобщенного контрольного параметра метрики и обобщенного экспериментального параметра метрики, причем процесс формирования включает в себя следующие действия: вычисление посредством сервера первого весового коэффициента для взвешивания первого контрольного параметра метрики и первого экспериментального параметра метрики и второго весового коэффициента для взвешивания второго контрольного параметра метрики и второго экспериментального параметра метрики; выбор посредством сервера минимального первого весового коэффициента и максимального второго весового коэффициента; получение обобщенного контрольного параметра метрики, содержащего первый контрольный параметр метрики, взвешенный с использованием первого весового коэффициента, и второй контрольный параметр метрики, взвешенный с использованием второго весового коэффициента; получение обобщенного экспериментального параметра метрики, содержащего первый экспериментальный параметр метрики, взвешенный с использованием первого весового коэффициента, и второй экспериментальный параметр метрики, взвешенный с использованием второго весового коэффициента, причем обобщенный контрольный параметр метрики и обобщенный экспериментальный параметр метрики совместно, по меньшей мере, частично указывают на величину и направление изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии реализуемого посредством компьютера сервиса в течение первого периода времени.

В некоторых вариантах реализации первый весовой коэффициент указывает на относительный вклад первого контрольного параметра метрики в обобщенный контрольный параметр метрики и на относительный вклад первого экспериментального параметра метрики в обобщенный экспериментальный параметр метрики, а второй весовой коэффициент указывает на относительный вклад второго контрольного параметра метрики в обобщенный контрольный параметр метрики и на относительный вклад второго экспериментального параметра метрики в обобщенный экспериментальный параметр метрики.

В некоторых вариантах реализации способ дополнительно включает в себя применение посредством сервера обобщенного контрольного параметра метрики и обобщенного экспериментального параметра метрики к новому набору данных с целью определения величины и направления изменений в действиях пользователей, причем новый набор данных содержит третье множество векторов, связанных с взаимодействием пользователей с контрольной версией реализуемого посредством компьютера сервиса в течение второго периода времени, и четвертое множество векторов, связанных с взаимодействием пользователей с экспериментальной версией реализуемого посредством компьютера сервиса в течение второго периода времени.

В некоторых вариантах реализации известны величина и направление изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии реализуемого посредством компьютера сервиса в течение первого периода времени.

В некоторых вариантах реализации вычисление первого весового коэффициента и второго весового коэффициента дополнительно включает в себя вычисление посредством сервера для каждого отрезка времени в первом периоде времени знака разности первого экспериментального параметра метрики и первого контрольного параметра метрики, при этом знак разности указывает на направление изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии реализуемого посредством компьютера сервиса, причем направление может быть отрицательным или положительным, а знак разности определяется по следующей формуле:

,

где - первый контрольный параметр метрики, - первый экспериментальный параметр метрики.

В некоторых вариантах реализации вычисление первого весового коэффициента и второго весового коэффициента дополнительно включает в себя вычисление посредством сервера для каждого отрезка времени в первом периоде времени взвешенной Z-оценки на основе обобщенного контрольного параметра метрики и обобщенного экспериментального параметра метрики, при этом взвешенная Z-оценка указывает на уровень доверия к величине изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии реализуемого посредством компьютера сервиса и определяется по формуле:

,

где с - весовой вектор, содержащий первый весовой коэффициент с₁ и второй весовой коэффициент с₂; М_СА - обобщенный контрольный параметр метрики; М_СВ - обобщенный экспериментальный параметр метрики; - матрица ковариаций между первым контрольным параметром метрики и вторым контрольным параметром метрики; - матрица ковариаций между первым экспериментальным параметром метрики и вторым экспериментальным параметром метрики.

В некоторых вариантах реализации способ дополнительно включает в себя выполняемое для первого периода времени суммирование знаков разности первого экспериментального параметра метрики и первого контрольного параметра метрики, при этом знаки разности умножаются на взвешенные Z-оценки для каждого отрезка времени в пределах первого периода времени.

В некоторых вариантах реализации вычисление посредством сервера первого весового коэффициента и второго весового коэффициента дополнительно включает в себя решение следующего уравнения:

.

В некоторых вариантах реализации при решении используется алгоритм Бройдена-Флетчера-Голдфарда-Шэнно (BFGS, Broyden-Fletcher-Goldfard-Shanno), градиентный алгоритм или эвристический алгоритм.

В некоторых вариантах реализации сумма первого весового коэффициента и второго весового коэффициента является константой.

В некоторых вариантах реализации выбор посредством сервера минимального первого весового коэффициента и максимального второго весового коэффициента включает в себя выбор оптимального значения для минимального первого весового коэффициента и выбор максимального второго весового коэффициента посредством вычитания первого весового коэффициента из константы.

В некоторых вариантах реализации первый параметр метрики представляет собой суточное число активных пользователей (DAU, daily active users), а второй параметр метрики представляет собой коэффициент переходов (CTR, click-through rate).

В некоторых вариантах реализации первое множество пользователей представляет собой, по меньшей мере, часть пользователей, взаимодействовавших с контрольной версией реализуемого посредством компьютера сервиса в течение первого периода времени.

В некоторых вариантах реализации второе множество пользователей представляет собой, по меньшей мере, часть пользователей, взаимодействовавших с экспериментальной версией реализуемого посредством компьютера сервиса в течение первого периода времени.

В соответствии с другим аспектом настоящей технологии разработана система для формирования обобщенного параметра метрики, который может использоваться для выполнения реализуемого посредством компьютера А/В-тестирования реализуемого посредством компьютера сервиса, имеющего контрольную и экспериментальную версии, при этом система содержит процессор и машиночитаемый физический носитель информации, содержащий команды, при выполнении которых процессор инициирует выполнение следующих действий: прием набора данных, содержащего первое множество векторов признаков и второе множество векторов признаков, причем первое множество векторов признаков связано с взаимодействием пользователей из первого множества пользователей с контрольной версией реализуемого посредством компьютера сервиса в течение первого периода времени, а второе множество векторов признаков связано с взаимодействием пользователей из второго множества пользователей с экспериментальной версией реализуемого посредством компьютера сервиса в течение первого периода времени; получение первого контрольного параметра метрики для первого множества векторов признаков и первого экспериментального параметра метрики для второго множества векторов признаков, а также комбинации первого контрольного параметра метрики и первого экспериментального параметра метрики, причем такая комбинация, по меньшей мере, частично указывает на направление изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии реализуемого посредством компьютера сервиса и это направление может быть отрицательным или положительным; получение второго контрольного параметра метрики для первого множества векторов признаков и второго экспериментального параметра метрики для второго множества векторов признаков, а также комбинации второго контрольного параметра метрики и второго экспериментального параметра метрики, причем такая комбинация, по меньшей мере, частично указывает на величину изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии реализуемого посредством компьютера сервиса; формирование обобщенного контрольного параметра метрики и обобщенного экспериментального параметра метрики, причем процесс формирования включает в себя следующие действия: вычисление первого весового коэффициента для взвешивания первого контрольного параметра метрики и первого экспериментального параметра метрики и второго весового коэффициента для взвешивания второго контрольного параметра метрики и второго экспериментального параметра метрики; выбор минимального первого весового коэффициента и максимального второго весового коэффициента; получение обобщенного контрольного параметра метрики, содержащего первый контрольный параметр метрики, взвешенный с использованием первого весового коэффициента, и второй контрольный параметр метрики, взвешенный с использованием второго весового коэффициента; получение обобщенного экспериментального параметра метрики, содержащего первый экспериментальный параметр метрики, взвешенный с использованием первого весового коэффициента, и второй экспериментальный параметр метрики, взвешенный с использованием второго весового коэффициента, причем обобщенный контрольный параметр метрики и обобщенный экспериментальный параметр метрики совместно, по меньшей мере, частично указывают на величину и направление изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии реализуемого посредством компьютера сервиса в течение первого периода времени.

В некоторых вариантах реализации первый весовой коэффициент указывает на относительный вклад первого контрольного параметра метрики в обобщенный контрольный параметр метрики и на относительный вклад первого экспериментального параметра метрики в обобщенный экспериментальный параметр метрики, а второй весовой коэффициент указывает на относительный вклад второго контрольного параметра метрики в обобщенный контрольный параметр метрики и на относительный вклад второго экспериментального параметра метрики в обобщенный экспериментальный параметр метрики.

В некоторых вариантах реализации способ дополнительно включает в себя применение посредством сервер обобщенного контрольного параметра метрики и обобщенного экспериментального параметра метрики к новому набору данных с целью определения величины и направления изменений в действиях пользователей, при этом новый набор данных содержит третье множество векторов, связанных с взаимодействием пользователей с контрольной версией реализуемого посредством компьютера сервиса в течение второго периода времени, и четвертое множество векторов, связанных с взаимодействием пользователей с экспериментальной версией реализуемого посредством компьютера сервиса в течение второго периода времени.

В некоторых вариантах реализации известны величина и направление изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии реализуемого посредством компьютера сервиса в течение первого периода времени.

В некоторых вариантах реализации вычисление первого весового коэффициента и второго весового коэффициента дополнительно включает в себя вычисление посредством сервера для каждого отрезка времени в первом периоде времени знака разности первого экспериментального параметра метрики и первого контрольного параметра метрики, при этом знак разности указывает на направление изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии реализуемого посредством компьютера сервиса, причем направление может быть отрицательным или положительным, а знак разности определяется по следующей формуле:

,

где - первый контрольный параметр метрики; - первый экспериментальный параметр метрики.

В некоторых вариантах реализации вычисление первого весового коэффициента и второго весового коэффициента дополнительно включает в себя вычисление для каждого отрезка времени в первом периоде времени взвешенной Z-оценки на основе обобщенного контрольного параметра метрики и обобщенного экспериментального параметра метрики, при этом взвешенная Z-оценка указывает на уровень доверия к величине изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии реализуемого посредством компьютера сервиса и определяется по формуле:

,

где с - весовой вектор, содержащий первый весовой коэффициент с₁ и второй весовой коэффициент с₂; М_СА - обобщенный контрольный параметр метрики; М_СВ - обобщенный экспериментальный параметр метрики; - матрица ковариаций между первым контрольным параметром метрики и вторым контрольным параметром метрики; - матрица ковариаций между первым экспериментальным параметром метрики и вторым экспериментальным параметром метрики.

В некоторых вариантах реализации способ дополнительно включает в себя выполняемое для первого периода времени суммирование знаков разности первого экспериментального параметра метрики и первого контрольного параметра метрики, при этом знаки разности умножаются на взвешенные Z-оценки для каждого отрезка времени в пределах первого периода времени.

В некоторых вариантах реализации вычисление первого весового коэффициента и второго весового коэффициента дополнительно включает в себя решение следующего уравнения:

.

В некоторых вариантах реализации при решении используется алгоритм Бройдена-Флетчера-Голдфарба-Шэнно (BFGS), градиентный алгоритм или эвристический алгоритм.

В некоторых вариантах реализации сумма первого весового коэффициента и второго весового коэффициента является константой.

В некоторых вариантах реализации выбор минимального первого весового коэффициента и максимального второго весового коэффициента включает в себя выбор оптимального значения для минимального первого весового коэффициента и выбор максимального второго весового коэффициента посредством вычитания первого весового коэффициента из константы.

В некоторых вариантах реализации первый параметр метрики представляет собой суточное число активных пользователей (DAU), а второй параметр метрики представляет собой коэффициент переходов (CTR).

В некоторых вариантах реализации первое множество пользователей представляет собой, по меньшей мере, часть пользователей, взаимодействовавших с контрольной версией реализуемого посредством компьютера сервиса в течение первого периода времени.

В некоторых вариантах реализации второе множество пользователей представляет собой, по меньшей мере, часть пользователей, взаимодействовавших с экспериментальной версией реализуемого посредством компьютера сервиса в течение первого периода времени.

В контексте настоящего описания, если явно не указано иное, под электронным устройством, пользовательским устройством, сервером и компьютерной системой понимаются любые аппаратные и/или программные средства, подходящие для решения поставленной задачи. Таким образом, некоторые не имеющие ограничительного характера примеры аппаратных и/или программных средств включают в себя компьютеры (серверы, настольные, ноутбуки, нетбуки и т.п.), смартфоны, планшеты, сетевое оборудование (маршрутизаторы, коммутаторы, шлюзы и т.п.) и/или их сочетания.

В контексте настоящего описания, если явно не указано иное, выражения «носитель, пригодный для чтения компьютером» и «запоминающее устройство» означают носители любого типа и вида, не имеющие ограничительного характера, примеры которых включают в себя оперативное запоминающее устройство (ОЗУ), постоянное запоминающее устройство (ПЗУ), диски (CD-ROM, DVD, гибкие диски, жесткие диски и т.д.), USB-накопители, карты флэш-памяти, твердотельные накопители и накопители на магнитных лентах.

В контексте настоящего описания, если явно не указано иное, прилагательные «первый», «второй», «третий» и т.д. используются только для указания различия между существительными, к которым они относятся, но не для описания каких-либо определенных взаимосвязей между этими существительными. Например, должно быть понятно, что использование терминов «первый сервер» и «третий сервер» не подразумевает какого-либо определенного порядка, типа, хронологии, иерархии или классификации, в данном случае, серверов, и что их использование (само по себе) не подразумевает обязательного наличия «второго сервера» в любой ситуации. Кроме того, как встречается в настоящем описании в другом контексте, ссылка на «первый» элемент и «второй» элемент не исключает того, что эти два элемента могут быть одним и тем же реальным элементом. Таким образом, например, в некоторых случаях «первый» сервер и «второй» сервер могут представлять собой одно и то же программное и/или аппаратное средство, а в других случаях - различные программные и/или аппаратные средства.

Краткое описание чертежей

Дальнейшее описание приведено для лучшего понимания настоящей технологии, а также других аспектов и их признаков, и должно использоваться совместно с приложенными чертежами.

На фиг. 1 представлена схема не имеющего ограничительного характера варианта реализации клиентского устройства согласно настоящей технологии.

На фиг. 2 представлена схема не имеющего ограничительного характера варианта реализации системы связи согласно настоящей технологии.

На фиг. 3 представлена блок-схема, иллюстрирующая не имеющий ограничительного характера вариант реализуемого посредством компьютера способа объединения метрик для А/В-тестирования согласно настоящей технологии.

Осуществление изобретения

Дальнейшее подробное описание представляет собой лишь описание примеров, иллюстрирующих настоящую технологию. Это описание не предназначено для определения объема или границ настоящей технологии. В некоторых случаях приводятся полезные примеры модификаций, которые способствуют пониманию, но не определяют объем или границы настоящей технологии. Эти модификации не составляют исчерпывающего списка, возможны и другие модификации. Кроме того, если в некоторых случаях примеры модификаций не описаны, это не означает, что модификации невозможны и/или описание содержит единственный вариант реализации определенного аспекта настоящей технологии. Кроме того, следует понимать, что настоящее подробное описание в некоторых случаях касается упрощенных вариантов реализации настоящей технологии, и что такие варианты представлены для того, чтобы способствовать лучшему ее пониманию. Различные варианты реализации настоящей технологии могут быть значительно сложнее.

Учитывая вышеизложенные принципы, далее рассмотрены некоторые не имеющие ограничительного характера примеры, иллюстрирующие различные варианты реализации аспектов настоящей технологии.

На фиг. 1 показано первое клиентское устройство 100, пригодное для использования в некоторых вариантах реализации настоящей технологии и содержащее различные аппаратные части, включая один или несколько одно- или многоядерных процессоров, которые совместно представлены процессором 110, графический процессор (GPU, graphics processing unit) 111, твердотельный накопитель 120, ОЗУ 130, интерфейс 140 дисплея и интерфейс 150 ввода-вывода.

Связь между различными частями первого клиентского устройства 100 может осуществляться через одну или несколько внутренних и/или внешних шин 160 (таких как шина PCI, шина USB, шина Fire Wire стандарта IEEE 1394, шина SCSI, шина Serial-ATA и т.д.), с которыми различные аппаратные части соединены электронными средствами.

Интерфейс 150 ввода-вывода может соединяться с сенсорным экраном 190 и/или с одной или несколькими внутренними и/или внешними шинами 160. Сенсорный экран 190 может быть частью дисплея. В некоторых вариантах осуществления сенсорный экран 190 представляет собой дисплей. Сенсорный экран 190 может также называться экраном 190. В варианте осуществления, представленном на фиг. 1, сенсорный экран 190 содержит сенсорные аппаратные средства 194 (например, чувствительные к нажатию ячейки в слое дисплея, позволяющие обнаруживать физическое взаимодействие между пользователем и дисплеем) и контроллер 192 ввода-вывода для сенсорных устройств, обеспечивающий связь с интерфейсом 140 дисплея и/или одной или несколькими внутренними и/или внешними шинами 160. В некоторых вариантах осуществления интерфейс 150 ввода-вывода может соединяться с клавиатурой (не показана), манипулятором «мышь» (не показан) или сенсорной площадкой (не показана), которые обеспечивают взаимодействие пользователя с первым клиентским устройством 100 в дополнение к сенсорному экрану 190 или вместо него.

Согласно вариантам реализации настоящей технологии, твердотельный накопитель 120 хранит программные команды, пригодные для загрузки в ОЗУ 130 и для выполнения процессором 110 и/или графическим процессором 111. Программные команды могут, например, представлять собой часть библиотеки или приложения.

Первое клиентское устройство 100 может представлять собой сервер, настольный компьютер, планшет, смартфон, электронный персональный помощник или любое устройство, пригодное для реализации настоящей технологии, как должно быть понятно специалисту в данной области.

На фиг. 2 представлена система 200 связи, соответствующая варианту осуществления настоящей технологии. Система 200 связи имеет множество пользователей 201, включая первого пользователя 203, второго пользователя 205, третьего пользователя 207 и четвертого пользователя 209, связанных, соответственно, с первым клиентским устройством 100, вторым клиентским устройством 215, третьим клиентским устройством 217 и четвертым клиентским устройством 219, которые связаны с сетью 280 связи посредством линии 290 связи. Первое клиентское устройство 100 может быть реализовано как смартфон, второе клиентское устройство 215 может быть реализовано как ноутбук, третье клиентское устройство 217 может быть реализовано как смартфон, а четвертое клиентское устройство 219 может быть реализовано как планшет. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии в качестве сети 280 связи может использоваться сеть Интернет. В других вариантах реализации настоящей технологии сеть 280 связи может быть реализована иначе, например в виде произвольной глобальной сети связи, локальной сети связи, личной сети связи и т.д.

На реализацию линии 290 связи не накладывается каких-либо особых ограничений, она зависит от реализации первого клиентского устройства 100, второго клиентского устройства 215, третьего клиентского устройства 217 и четвертого клиентского устройства 219. Только в качестве примера, не имеющего ограничительного характера, в тех вариантах осуществления настоящей технологии, в которых, по меньшей мере, одно из клиентских устройств, таких как первое клиентское устройство 100, второе клиентское устройство 215, третье клиентское устройство 217 и четвертое клиентское устройство 219, реализуется как беспроводное устройство связи (такое, как смартфон), линия 290 связи может реализовываться как беспроводная линия связи (включая канал сети связи 3G, канал сети связи 4G, Wireless Fidelity или сокращенно WiFi^®, Bluetooth^® и т.п., но не ограничиваясь ими). В тех примерах, где, по меньшей мере, одно из клиентских устройств, таких как первое клиентское устройство 100, второе клиентское устройство 215, третье клиентское устройство 217 и четвертое клиентское устройство 219, реализуется как ноутбук, смартфон или планшетный компьютер, линия 290 связи может быть беспроводной (такой, как WiFi^®, Bluetooth^® и т.п.) или проводной (такой, как соединение по сети Ethernet).

Очевидно, что варианты реализации первого клиентского устройства 100, второго клиентского устройства 215, третьего клиентского устройства 217, четвертого клиентского устройства 219, лини 290 связи и сети 280 связи приводятся только в качестве иллюстрации. Специалисту в данной области понятны и другие конкретные подробности реализации первого клиентского устройства 100, второго клиентского устройства 215, третьего клиентского устройства 217, четвертого клиентского устройства 219, лини 290 связи и сети 280 связи. Представленные выше примеры никоим образом не ограничивают объем охраны настоящей технологии. Несмотря на то, что только четыре клиентских устройства 100, 215, 218 и 219 показаны на фиг. 2, предполагается, что к системе 200 связи можно подключить любое количество клиентских устройств 100, 215, 218 и 219. Также предполагается, что в некоторых вариантах реализации к системе 200 связи могут быть подключены десятки или сотни тысяч клиентских устройств 100, 215, 218 и 219.

С сетью 280 связи также соединены первый север 220 и сервер 240 анализа. Первый сервер 220 и сервер 240 анализа могут быть реализованы как традиционные компьютерные серверы. В примере осуществления настоящей технологии первый сервер 220 и сервер 240 анализа могут быть реализованы как сервер Dell™ PowerEdge™, работающий под управлением операционной системы Microsoft™ Windows Server™. Очевидно, что первый сервер 220 и сервер 240 анализа могут быть реализованы с использованием любых других подходящих аппаратных средств и/или ПО, и/или встроенного ПО либо их сочетания.

В представленном не имеющем ограничительного характера варианте осуществления настоящей технологии на первом сервере 220 может размещаться первый сервис 230. Первый сервис 230 может представлять собой любой реализуемый посредством компьютера сервис, с которым пользователь может взаимодействовать посредством электронного клиентского устройства (такого, как первое клиентское устройство 100, второе клиентское устройство 215, третье клиентское устройство 217, четвертое клиентское устройство 219). Этот реализуемый посредством компьютера сервис может представлять собой веб-сайт, включая персональную домашнюю страницу, социальную сеть, сервис электронной почты, банковский сервис и т.д. В других вариантах осуществления первый сервис 230 может представлять собой приложение, полученное из Apple™ Арр Store™ или Google™ Play Store™ и выполняемое на устройстве, таком как смартфон или планшет. В других вариантах осуществления первый сервис 230 может представлять собой ресурс для рассылки видеоматериалов, фотографий или сообщений электронной почты либо игру.

В настоящем варианте осуществления первый сервер 220 может предоставлять каждому пользователю, осуществляющему доступ к первому сервису 230, одну из двух версий первого сервиса 230: контрольную версию А 234 или экспериментальную версию В 238. В некоторых вариантах осуществления первый сервер 220 может предоставлять больше двух версий первого сервиса 230, например, версию С (не показана), версию D (не показана) и т.д. Контрольная версия А 234 и экспериментальная версия В 238 первого сервиса 230 могут отличаться, по меньшей мере, некоторым аспектом сервиса.

В некоторых вариантах осуществления различие между контрольной версией А 234 и экспериментальной версией В 238 первого сервиса 230 может быть визуальным, структурным, контентным либо представлять собой любое сочетание визуальных, структурных и контентных отличий. В не имеющем ограничительного характера примере цвет элемента, такого как кнопка (не показан), в экспериментальной версии В 238 может отличаться от цвета этого элемента в контрольной версии А 234, экспериментальная версия В 238 и контрольная версии А 234 также могут отличаться положением и размером элемента, кроме того, экспериментальная версия В 238 и контрольная версии А 234 могут отличаться шрифтом заголовка.

В других вариантах осуществления экспериментальная версия В 238 может отличаться от контрольной версии А 234 представлением нескольких элементов или всей страницы. Часто контрольная версия А 234 представляет собой версию первого сервиса 230, которая ранее была протестирована на пользователях и для которой ожидается высокая степень вовлеченности пользователя. Тем не менее, предполагается, что контрольная версия А 234 первого сервиса 230 может быть менее популярна или протестирована в меньшей степени.

Первый сервер 220 может разделять Интернет-трафик между контрольной версией А 234 и экспериментальной версией В 238 первого сервиса 230 таким образом, чтобы пользователи получали доступ либо к контрольной версии А 234, либо к экспериментальной версии В 238. В некоторых вариантах осуществления каждый раз, когда первый сервер 220 получает новый запрос на доступ к первому сервису 230 от нового пользователя, первый сервер 220 может поочередно выбирать предоставление контрольной версии А 234 или экспериментальной версии В 238 новому пользователю (например, одному из множества пользователей 201). В других вариантах осуществления трафик может разделяться между контрольной версией А 234 и экспериментальной версией В 238 в зависимости от различных параметров, связанных с пользователями: предполагаемого возраста, географического местоположения, языка, индивидуальных предпочтений. В других вариантах осуществления пользователи могут выбирать, принимать ли участие в тестировании контрольной версии А 234 и экспериментальной версии В 238 первого сервиса 230.

В общем случае, первый сервер 220 может предоставлять контрольную версию А 234 и экспериментальную версию В 238 первого сервиса 230 в течение экспериментального периода времени, который может составлять несколько суток, недель, месяцев или лет. В настоящем варианте осуществления первое клиентское устройство 100 и второе клиентское устройство 215 могут быть приписаны к контрольной версии А 234 первого сервиса 230, а третье клиентское устройство 217 и четвертое клиентское устройство 219 могут приписаны к экспериментальной версии В 238 первого сервиса 230. Как указано выше, целью эксперимента может являться измерение успеха или степени конверсии в контрольной версии А 234 и экспериментальной версии В 238 первого сервиса 230.

В течение экспериментального периода после каждого запроса от первого клиентского устройства 100, второго клиентского устройства 215, третьего клиентского устройства 217 или четвертого клиентского устройства 219 эти устройства могут получать данные и взаимодействовать с назначенными им контрольной версией А 234 или экспериментальной версией В 238 первого сервиса 230. Затем сервер 240 анализа может получать или принимать показатели множества взаимодействий первого клиентского устройства 100, второго клиентского устройства 215, третьего клиентского устройства 217 и четвертого клиентского устройства 219 с назначенной им контрольной версией А 234 или экспериментальной версией В 238 первого сервиса 230.

Сервер 240 анализа посредством сервиса 244 анализа может отслеживать показатели взаимодействия пользователей с контрольной версией А 234 и экспериментальной версией В 238 первого сервиса 230. В качестве примеров сервисов анализа можно привести Google™ Analytics™ или Yandex.Metrica™.

В не имеющем ограничительного характера примере сервер 240 анализа может отслеживать действия пользователей с помощью сервиса 244 анализа посредством кода JavaScript и HTML, встроенного в элементы веб-страниц первого сервиса 230. Это позволяет собирать информацию из заголовков HTTP-запросов, такую как IP-адрес пользователя, URL-адрес страницы, содержащей изображение, информацию о браузере и операционной системе, данные куки-файлов и т.д.

Посредством кода JavaScript возможно собирать информацию о заголовке HTML-страницы, URL-адресе источника трафика, параметрах экрана и окна браузера, плагинах и расширениях браузера (Java, Silverlight, Flash) и т.д.

В общем случае сервис 244 анализа может отслеживать события, происходящие во время взаимодействия пользователя со страницей, включая заполнение и отправку форм, переходы по ссылкам, прокрутку, время, проведенное пользователем на страницах, параметры загрузки страницы (например, время ее вывода) и т.д. Затем сервис 244 анализа может формировать параметры метрики на основе отслеженных действий пользователей. Параметры метрики, также известные как метрики или метрики вовлеченности, могут соответствовать числовому значению, связанному с взаимодействием пользователя с версией сервиса (такой, как контрольная версия А 234 или экспериментальная версия В 238 первого сервиса 230). В некоторых вариантах осуществления параметр метрики может непосредственно указывать на различие между версиями сервиса, представляя сравнительный результат версий сервиса (таких, как контрольная версия А 234 и экспериментальная версия В 238 первого сервиса 230).

Не имеющие ограничительного характера примеры параметров метрики включают в себя:

- сеансы: количество сеансов, осуществленных пользователем в течение эксперимента. Сеансы определяются как взаимодействия с оцениваемым веб-сервисом, разделенные 30-минутными периодами неактивности, причем запросы не должны пересекаться по словам за исключением слов короче трех символов;

- время отсутствия: среднее время отсутствия в секундах;

- логарифмическое время отсутствия: среднее логарифмическое значение времени отсутствия между сеансами;

- время сеанса: средняя продолжительность сеанса в секундах;

- логарифмическое время сеанса: среднее логарифмическое значение продолжительности сеанса;

- запросы: количество запросов, отправленных пользователем;

- переходы: количество переходов, выполненных пользователем;

- число переходов на запрос: среднее количество переходов в расчете на один запрос для пользователя;

- коэффициент переходов (CTR): количество щелчков на элементе, деленное на количество отображений элемента (показов);

- суточное число активных пользователей (DAU): количество уникальных пользователей, взаимодействующих с сервисом в течение суток;

- среднее количество сеансов в сутки на пользователя (S/U): u S(u) |u|, где S(u) - количество сеансов пользователя и за сутки, |u| - общее количество пользователей за эти сутки;

- среднее количество уникальных запросов на сеанс (UQ/S): s UQ(s) |s|, где UQ(s) - количество уникальных запросов в сеансе s, |s| - общее количество сеансов за эти сутки;

- средняя продолжительность сеанса на пользователя (SL/U): общее количество запросов в сеансе, усредненное по каждому пользователю;

- доля в процентах навигационных запросов на пользователя (%-Nav-Q/U): позиции переходов: если свыше n% всех переходов для запроса концентрируются на трех первых URL-адресах, этот запрос рассматривается как навигационный. В противном случае он обрабатывается как информационный. Значение п может быть установлено равным 80;

- средняя длина запроса на пользователя (QL/U): количество слов в запросе пользователя;

- средняя доля успешных попыток на пользователя (QSuccess/U): запрос пользователя считается успешным, если пользователь выбирает один или несколько результатов и остается на любом из них более 30 секунд;

- средний коэффициент переходов (CTR) запроса: CTR для запроса равен 1, если выполняется один или несколько переходов, в противном случае он равен 0;

- средний интервал между запросами на пользователя (QI/U): средний интервал времени между двумя последовательными запросами пользователя в течение сеанса этого пользователя.

Разумеется, представленный выше список не является исчерпывающим и может включать в себя параметры метрик других типов без выхода за пределы объема охраны настоящей технологии.

В целом, статистические тесты могут выполняться для оценки того, различаются ли результаты, полученные для данного параметра метрики, т.е. чтобы определить, превосходит ли экспериментальная версия В 238 контрольную версию А 234 первого сервиса 230 с фиксированном уровнем значимости для данной метрики.

В зависимости от предполагаемого распределения интересующего параметра метрики, могут использоваться различные критерии, например, для нормального распределения может использоваться критерий Уэлча (Welch's t-test) или Стьюдента (Student's t-test), для биномиального распределения может использоваться критерий Фишера (Fisher's test) или Барнарда (Barnard's test), для распределения Пуассона может использоваться Е-критерий (E-test) или С-критерий (C-test). Также может использоваться критерий знаковых рангов Уилкоксона (Wilcoxon signed-rank test) или критерий знаков (sign test).

Как указано выше, от параметра метрики требуются два основных качества: чувствительность и направленность.

Проверка статистической значимости может использоваться, чтобы оценить, различается ли степень вовлеченности пользователя для контрольной версии А 234 и для экспериментальной версии В 238. Чем больше полученная в результате Z-оценка, тем меньше вероятность или р-значение нулевой гипотезы, предполагающей, что среднее значение для двух групп равно, а наблюдаемое различие обусловлено случайными флуктуациями. Если р-значение меньше порогового значения (обычно используется р≤0,05), то по результатам тестирования нулевая гипотеза отвергается, а различие считается статистически значимым.

Чувствительность параметра метрики может определяться как способность параметра метрики обнаруживать статистически значимое различие между контрольной версией А 234 и экспериментальной версией В 238 при наличии экспериментального эффекта. Параметр метрики с более высокой чувствительностью позволяет обнаруживать меньшие изменения в сервисе. Чувствительный параметр метрики также способен обеспечить обнаружение изменений при меньшем количестве наблюдений.

Чувствительность параметра М метрики может количественно оцениваться с помощью статистической оценки Z:

,

где avg(M_A), avg(M_b) - средние значения результатов для данного параметра М метрики для контрольной версии А 234 и экспериментальной версии В 238, var[avg(M_A) - avg(M_A)] - отклонение разности средних результатов для данного параметра М метрики для контрольной версии А 234 и экспериментальной версии В 238.

В некоторых вариантах осуществления вместо статистической Z-оценки может использоваться t-статистика.

Направленность данного параметра М метрики может быть определена как способность параметра метрики указывать на соответствующее направление, когда эксперименты положительно влияют на восприятие пользователем, и указывать на противоположное направление для экспериментов, негативно влияющих на восприятие пользователем. Таким образом, направленность может обеспечивать выраженную в качественной форме бинарную информацию о направлении параметра метрики, т.е. указывать на положительное (+) или отрицательное (-) изменение. Направленность может количественно оцениваться посредством знака разности результатов для данного параметра М метрики, полученных для экспериментальной версии В 238 и контрольной версии А 234:

где sign() - знаковая функция, которая извлекает знак разности между средним значением данного параметра метрики для экспериментальной версии В 238 и средним значением данного параметра метрики для версии А 234.

Как указано выше, параметры M₁ метрики определенных типов, таких как отношение сеансы/пользователь или DAU, могут определять направленность, а параметры М₂ метрики других типов, такие как CTR, могут определять чувствительность.

Цель настоящей технологии заключается в формировании обобщенного параметра М_с метрики с использованием линейной комбинации двух параметров M₁ и М₂ метрик таким образом, что такой обобщенный параметр метрики возможно применять для контрольной версии (т.е. контрольной версии А 234) и экспериментальной версии (т.е. экспериментальной версии В 238) сервиса (т.е. первого сервиса 230) с целью определения величины изменений в действиях пользователей и направления изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии.

Такой обобщенный параметр М_с метрики может рассчитываться посредством линейного дискриминантного анализа (LDA, linear discriminant analysis), который используется для поиска линейной комбинации признаков, характеризующих или разделяющих два или большее количество классов событий. Тем не менее, для формирования линейной комбинации метрик могут использоваться и другие способы.

Сервер 240 анализа может получать или принимать данные о прошлых действиях пользователей, которые осуществляли доступ к контрольной версии А 234 и экспериментальной версии В 238 первого сервиса 230 в течение экспериментального периода времени. Данные о действиях пользователя могут быть получены в форме векторов, которые могут в качестве элементов содержать значения для различных метрик, причем векторы для контрольной версии А 234 и экспериментальной версии В 238 различаются. Данные о прошлых действиях пользователей, осуществлявших доступ к контрольной версии А 234 и экспериментальной версии В 238 первого сервиса 230, могут быть получены сервером 240 анализа из первого сервера 220 либо из базы данных или из памяти (не показана) сервера 240 анализа. В некоторых вариантах осуществления данные о действиях пользователей могут поступать непрерывно из множества клиентских устройств 210, когда осуществляется взаимодействие с контрольной версией А 234 и экспериментальной версией В 238 первого сервиса 230.

В не имеющем ограничительного характера примере может быть получено 200 векторов для контрольной версии А 234 и экспериментальной версии В 238, каждый из которых среди прочего содержит значения для первого параметра M₁ метрики (определяющего направленность, например, DAU) и второго параметра М₂ метрики (определяющего чувствительность, например, CTR). Каждый из этих 200 векторов может, например, соответствовать различным суткам периода А/В-тестирования. Для получения обобщенного параметра М_С метрики эксперимент, проводимый в течение экспериментального периода времени, должен иметь известный предпочтительный результат с точки зрения направленности и величины (т.е. должно быть определено, что контрольная версия А 234 является более успешной по сравнению с экспериментальной версией В 238 или экспериментальная версия В 238 является более успешной по сравнению с контрольной версией А 234).

В продолжение предыдущего примера следует отметить, что цель метода LDA заключается в поиске линейной комбинации метрик М_с = с₁ ⋅ М₁ + с₂ ⋅ М₂, которая определяет чувствительность (величину изменений в действиях пользователей при переходе от контрольной версии А 234 к экспериментальной версии В 238) и направленность (направление изменений в действиях пользователей при переходе от контрольной версии А 234 к экспериментальной версии В 238), когда она используется как параметр метрики для контрольной версии А 234 и экспериментальной версии В 238. Иными словами, ее размерность может быть уменьшена с двух параметров метрики (М₁, М₂) до одного обобщенного параметра метрики (М_с). Метод LDA предназначен для переноса двумерных данных на одномерную ось посредством максимизации расстояния между перенесенными средними значениями при минимальном или постоянном разбросе или отклонении.

Обобщенный параметр М_с метрики может быть получен посредством оптимизации первого весового коэффициента с₁ и второго весового коэффициента с₂, которые определяют относительный вклад первого параметра M₁ метрики и второго параметра М₂ метрики, соответственно, в обобщенный параметр М_с метрики. В данном примере обобщенный параметр метрики может быть представлен выражением М_с = с₁ ⋅ DAU + с₂ ⋅ CTR.

Обобщенный параметр М_с метрики (представляющий собой линейную комбинацию) также можно интерпретировать как гиперплоскость, которая разделяет точки данных, представляющие контрольную версию А 234 и экспериментальную версию В 238 на двумерной диаграмме с метриками M₁ (DAU) и М₂ (CTR) по осям. Затем можно найти вектор с, который содержит первый весовой коэффициент с₁ и второй весовой коэффициент с₂ и оптимально разделяет контрольную версию А 234 и экспериментальную версию В 238.

Чтобы найти оптимальные весовые коэффициенты c₁ и с₂, для каждых суток i = 1…200 могут быть рассчитаны следующие параметры:

где avg - среднее значение данной метрики; COV - матрица ковариаций.

Затем для каждых суток i может быть рассчитана взвешенная Z-оценка обобщенного параметра М_с метрики:

.

В целом, взвешенная Z-оценка может указывать на чувствительность обобщенного параметра М_с метрики при обнаружении изменений в действиях пользователей при переходе от контрольной версии А 234 к экспериментальной версии В 238 первого сервиса 230.

В общем случае используются множители Лагранжа:

,

где ∈ - небольшая константа (например, ∈ = 0,1), I - единичная матрица.

Затем взвешенная Z-оценка для данных суток i может быть умножена на знак разности для получения величины и направления изменений в действиях пользователей для данных суток i.

,

где с - вектор, содержащий первый и второй весовые коэффициенты c₁ и с₂, М_СА = с₁ ⋅ DAU_A+с₂ ⋅ CTR_A, М_СВ = с₁ ⋅ DAU_B + с₂ ⋅ CTR_B, sign() - знаковая функция, которая извлекает знак разности значений DAU для экспериментальной версии В 238 и контрольной версии А 234.

Затем, чтобы получить суммарную величину изменения и направление изменений в действиях пользователей для всего экспериментального периода времени, взвешенная Z-оценка, умноженная на знак разности значений DAU для экспериментальной версии В 238 и контрольной версии А 234, может суммироваться для невзвешенной Z-оценки обобщенных параметров метрики при i = 1…200:

.

Затем с использованием методов оптимизации, таких как алгоритм Бройдена-Флетчера-Голдфарба-Шэнно (BFGS) или градиентный алгоритм, могут быть рассчитаны возможные решения для первого весового коэффициента с₁ и второго весового коэффициента с₂.

В общем случае сумма весовых коэффициентов с₁ + с₂ может быть равна константе, например c₁ + с₂ = 1, и с₂ > с₁.

Затем может быть выбран оптимальный результат с целью минимизации первого весового коэффициента с₁ так, чтобы он обеспечивал относительный вклад в обобщенный параметр М_с метрики параметра М₁ метрики, указывающего направленность. Значение второго весового коэффициента с₂ может быть получено посредством вычитания первого весового коэффициента c₁ из константы, например, с₂ = 1 - с₁.

В целом, минимизация первого весового коэффициента с₁ (а также максимизация второго весового коэффициента с₂) может осуществляться различными способами. В качестве примера можно привести геометрический подход, когда минимум и/или максимум весового коэффициента определяется геометрически на основе картины распределения параметра, а также детерминированный метод и/или стохастический метод. В общем случае стохастические методы могут комбинироваться с детерминированными методами, например, с использованием метода покоординатного спуска, где направление спуска может определяться случайным образом. Вероятностные характеристики стохастических параметров, в свою очередь, могут изменяться от итерации к итерации (например, при поиске с адаптацией или при «самообучающемся» случайном поиске). На основе указанных выше методов (примеры которых приведены только для иллюстрации) минимизация первого весового коэффициента с₁ и максимизация второго весового коэффициента с₂ может выполняться как параллельный итеративный вычислительный процесс. Параллельный итеративный вычислительный процесс может предусматривать выбор пар возможных весовых коэффициентов c₁ и с₂ и итеративное определение минимально возможного первого весового коэффициента с₁ в паре с максимально возможным вторым весовым коэффициентом с₂, и наоборот.

Значения относительного вклада первого весового коэффициента с₁ и второго весового коэффициента с₂ в обобщенный параметр М_с метрики не ограничиваются, если первый весовой коэффициент с₁ минимизирован при сохранении его относительного вклада, например, для отношения с₁/с₂ могут использоваться варианты 0,05/0,95; 0,2/0,8; 0,5/0,5; 0,6/0,4; 0,95/0,05 или любое другое подходящее значение вклада.

В неимеющем ограничительного характера примере может быть найден первый весовой коэффициент с₁ = 0,3, а второй весовой коэффициент с₂ может быть определен как с₂ = 1 - с₁ = 1 - 0,3 = 0,7.

Обобщенный параметр М_с метрики для конкретного пользователя версии первого сервиса 230 (такой, как контрольная версия А 234 или экспериментальная версия В 238) затем может быть представлен выражением М_с(u)=0,3 ⋅ DAU(u) + 0,7 ⋅ CTR(u), где M_c(u) - новая метрика, сохраняющая вклад двух известных метрик М₁, М₂ в обобщенный параметр М_с метрики и поэтому одновременно указывающая на чувствительность и направленность.

Затем на новом этапе тестирования могут быть получены метрики DAU и CTR для новых пользователей контрольной версии А 234 и экспериментальной версии В 238 первого сервиса и далее они могут непосредственно взвешиваться для получения новых метрик М_СА и М_СВ. После применения статистического тестирования результаты, полученные при сравнении метрик М_СА и М_СВ, могут одновременно указывать на направление и величину изменения поведения пользователя при переходе от контрольной версии А 234 к экспериментальной версии В 238 первого сервиса 230.

Кроме того, для обобщенного параметра метрики возможно аналогичным образом объединять множество метрик, например, три или четыре метрики.

На фиг. 3 представлена блок-схема способа 300 формирования обобщенного параметра метрики.

Способ 300 может начинаться с шага 302.

Шаг 302: прием посредством сервера набора данных, содержащего первое множество векторов признаков и второе множество векторов признаков, причем первое множество векторов признаков связано с действиями пользователей из первого множества пользователей с контрольной версией реализуемого посредством компьютера сервиса в течение первого периода времени, а второе множество векторов признаков связано с действиями пользователей из второго множества пользователей с экспериментальной версией реализуемого посредством компьютера сервиса в течение первого периода времени.

На шаге 302 сервер 240 анализа может принять набор данных, содержащий первое множество векторов признаков и второе множество векторов признаков, причем первое множество векторов признаков связано с действиями пользователей из первого множества пользователей с контрольной версией А234 первого сервиса 230 в течение первого периода времени, а второе множество векторов признаков связано с действиями пользователей из второго множества пользователей с экспериментальной версией В 238 первого сервиса 230 в течение первого периода времени. В некоторых вариантах осуществления первое множество пользователей может представлять собой, по меньшей мере, часть всех пользователей, взаимодействовавших с контрольной версией А 234 первого сервиса 230 в течение первого периода времени, а второе множество пользователей может представлять собой, по меньшей мере, часть всех пользователей, взаимодействовавших с экспериментальной версией В 238 первого сервиса 230 в течение первого периода времени. В целом, первое множество пользователей и второе множество пользователей по различным причинам могут представлять собой только часть всех пользователей, взаимодействовавших, соответственно, с контрольной версией А 234 и экспериментальной версией В 238, поскольку данные о действиях пользователя могут быть неполными, утраченными, поврежденными и т.д. Набор данных может быть принят или получен сервисом 244 анализа сервера 240 анализа из первого сервера 220, на котором размещается первый сервис 230, одновременно или в различные моменты времени.

Далее способ 300 может продолжаться на шаге 304.

Шаг 304: получение посредством сервера первого контрольного параметра метрики для первого множества векторов признаков и первого экспериментального параметра метрики для второго множества векторов признаков, а также комбинации первого контрольного параметра метрики и первого экспериментального параметра метрики, по меньшей мере, частично указывающей на направление изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии реализуемого посредством компьютера сервиса, причем это направление может быть отрицательным или положительным.

На шаге 304 сервер 240 анализа может получать первый контрольный параметр М_1А метрики для первого множества векторов признаков и первый экспериментальный параметр М_1В метрики для второго множества векторов признаков, а также комбинацию первого контрольного параметра метрики и первого экспериментального параметра метрики, по меньшей мере, частично указывающую на направление изменений в действиях пользователей при переходе от контрольной версии А 234 к экспериментальной версии В 238 первого сервиса, причем это направление может быть отрицательным или положительным.

Первый контрольный параметр М_1А метрики и первый экспериментальный параметр М_1В метрики могут рассчитываться на основе, соответственно, первого множества векторов признаков и второго множества векторов признаков, или могут представлять собой элементы соответствующих векторов признаков. В общем случае первый контрольный параметр М_1А метрики и первый экспериментальный параметр М_1В метрики могут представлять собой один и тот же параметр М₁ метрики, применяемый соответственно для контрольной версии А 234 и экспериментальной версии В 238 первого сервиса 230. В неимеющем ограничительного характера примере первый контрольный параметр метрики может представлять собой DAU_A, а первый экспериментальный параметр метрики может представлять собой DAU_B.

Далее способ 300 может продолжаться на шаге 306.

Шаг 306: получение посредством сервера второго контрольного параметра метрики для первого множества векторов признаков и второго экспериментального параметра метрики для второго множества векторов признаков, а также комбинации второго контрольного параметра метрики и второго экспериментального параметра метрики, по меньшей мере, частично указывающей на величину изменений в действиях пользователей при переходе от контрольной версии А 234 к экспериментальной версии В 238 первого сервиса 230.

На шаге 306 сервер 240 анализа может получать второй контрольный параметр М_2А метрики для первого множества векторов признаков и второй экспериментальный параметр М_2В метрики для второго множества векторов признаков, а также комбинацию второго контрольного параметра метрики и второго экспериментального параметра метрики, по меньшей мере, частично указывающую на величину изменений в действиях пользователей при переходе от контрольной версии А 234 к экспериментальной версии В 238 первого сервиса 230.

Второй контрольный параметр М_2А метрики и второй экспериментальный параметр М_2В метрики могут рассчитываться на основе, соответственно, первого множества векторов признаков и второго множества векторов признаков, или могут представлять собой элементы соответствующих векторов признаков. В общем случае второй контрольный параметр М_2А метрики и второй экспериментальный параметр М_2В метрики могут представлять собой один и тот же параметр М₂ метрики, применяемый, соответственно, для контрольной версии А 234 и экспериментальной версии В 238 первого сервиса 230. В неимеющем ограничительного характера примере второй контрольный параметр метрики может представлять собой CTR_A, а второй экспериментальный параметр метрики может представлять собой CTR_B.

Далее способ 300 может продолжаться на шаге 308.

Шаг 308: формирование посредством сервера обобщенного контрольного параметра метрики и обобщенного экспериментального параметра метрики, причем процесс формирования включает в себя следующие действия: вычисление посредством сервера первого весового коэффициента для взвешивания первого контрольного параметра метрики и первого экспериментального параметра метрики и второго весового коэффициента для взвешивания второго контрольного параметра метрики и второго экспериментального параметра метрики; выбор посредством сервера минимального первого весового коэффициента и максимального второго весового коэффициента; получение обобщенного контрольного параметра метрики, содержащего первый контрольный параметр метрики, взвешенный с использованием первого весового коэффициента, и второй контрольный параметр метрики, взвешенный с использованием второго весового коэффициента; получение обобщенного экспериментального параметра метрики, содержащего первый экспериментальный параметр метрики, взвешенный с использованием первого весового коэффициента, и второй экспериментальный параметр метрики, взвешенный с использованием второго весового коэффициента, причем обобщенный контрольный параметр метрики и обобщенный экспериментальный параметр метрики совместно, по меньшей мере, частично указывают на величину и направление изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии реализуемого посредством компьютера сервиса в течение первого периода времени.

На шаге 308 сервер 240 анализа может формировать обобщенный контрольный параметр М_СА метрики и обобщенный экспериментальный параметр М_СВ метрики, при этом процесс формирования включает в себя следующие действия: вычисление посредством сервера 240 анализа первого весового коэффициента с₁ для взвешивания первого контрольного параметра М_1А метрики и первого экспериментального параметра М_1В метрики, а также второго весового коэффициента с₂ для взвешивания второго контрольного параметра М_2А метрики и второго экспериментального параметра М_2В метрики; выбор посредством сервера 240 анализа минимального первого весового коэффициента с₁ и максимального второго весового коэффициента с₂; получение обобщенного контрольного параметра метрики, содержащего первый контрольный параметр метрики, взвешенный с использованием первого весового коэффициента, и второй контрольный параметр метрики, взвешенный с использованием второго весового коэффициента М_СА = с₁ ⋅ М_1А + с₂ ⋅ М_2А; получение обобщенного экспериментального параметра метрики, содержащего первый экспериментальный параметр метрики, взвешенный с использованием первого весового коэффициента, и второй экспериментальный параметр метрики, взвешенный с использованием второго весового коэффициента М_СВ = с₁ ⋅ М_1В + с₂ ⋅ М_2В, причем обобщенный контрольный параметр М_СА метрики и обобщенный экспериментальный параметр М_СВ метрики совместно, по меньшей мере, частично указывают на величину и направление изменений в действиях пользователей при переходе от контрольной версии А 234 к экспериментальной версии В 238 первого сервиса 230 в течение первого периода времени. Первый весовой коэффициент с₁ может указывать на относительный вклад первого контрольного параметра М_1А метрики в обобщенный контрольный параметр М_СА метрики и на относительный вклад первого экспериментального параметра М_1В метрики в обобщенный экспериментальный параметр М_СВ метрики, а второй весовой коэффициент с₂ может указывать на относительный вклад второго контрольного параметра М_2А метрики в обобщенный контрольный параметр М_СА метрики и на относительный вклад второго экспериментального параметра М_2В метрики в обобщенный экспериментальный параметр М_СВ метрики. Вычисление первого весового коэффициента с₁ и второго весового коэффициента с₂ может осуществляться с использованием формул (1) - (5) и, например, алгоритма BFGS для поиска оптимальных решений.

Первый весовой коэффициент с₁ и второй весовой коэффициент с₂ могут затем использоваться в новом обобщенном параметре метрики М_с(u) = с₁ ⋅ М₁(u) + с₂ ⋅ М₂(u) для измерения действий пользователей на новом наборе данных с целью определения величины и направления изменений в действиях пользователей для нового набора пользовательских данных. В не имеющем ограничительного характера примере с весовыми коэффициентами c₁ = 0,3, с₂ = 0,7 обобщенный параметр метрики для данного пользователя U может быть определяться по формуле М_с(u) = 0,3 ⋅ DAU(u) + 0,7 ⋅ CTR(u). Обобщенный параметр метрики затем может использоваться в качестве новой метрики для измерения действий пользователя с новыми контрольной версией и экспериментальной версией (не показаны) реализуемого посредством компьютера сервиса (т.е. первого сервиса 230). Таким образом, обобщенный параметр метрики, обладающий направленностью и чувствительностью, позволяет обнаруживать величину и направление изменений действий пользователя при переходе от контрольной версии А 234 к экспериментальной версии В 238.

На этом способ 300 может быть завершен.

Хотя описанные выше варианты реализации приведены со ссылкой на конкретные шаги, выполняемые в определенном порядке, должно быть понятно, что эти шаги могут быть объединены, разделены или их порядок может быть изменен без отклонения от настоящей технологии. Соответственно, порядок и группировка шагов не носят ограничительного характера для настоящей технологии.

Очевидно, что не все упомянутые в данном описании технические эффекты должны присутствовать в каждом варианте реализации настоящей технологии. Например, возможны варианты реализации настоящей технологии, когда пользователь не получает некоторые из этих технических эффектов, или другие варианты реализации, когда пользователь получает другие технические эффекты либо технический эффект отсутствует.

Некоторые из этих шагов и передаваемых и/или принимаемых сигналов хорошо известны в данной области техники и по этой причине опущены в некоторых частях данного описания для простоты. Сигналы могут передаваться и/или приниматься с использованием оптических средств (например, использующих волоконно-оптическое соединение), электронных средств (например, использующих проводное или беспроводное соединение) и механических средств (например, основанных на давлении, температуре или любом другом подходящем физическом параметре).

Изменения и усовершенствования описанных выше вариантов реализации настоящей технологии очевидны для специалиста в данной области. Предшествующее описание приведено в качестве примера, а не для ограничения объема изобретения. Объем охраны настоящей технологии определяется исключительно объемом приложенной формулы изобретения.

1. Реализуемый посредством компьютера способ формирования обобщенного параметра метрики, который может использоваться для выполнения реализуемого посредством компьютера А/В-тестирования реализуемого посредством компьютера сервиса, имеющего контрольную и экспериментальную версии, выполняемый на сервере и включающий в себя:

- прием посредством сервера набора данных, содержащего первое множество векторов признаков и второе множество векторов признаков, при этом первое множество векторов признаков связано с взаимодействием пользователей из первого множества пользователей с контрольной версией реализуемого посредством компьютера сервиса в течение первого периода времени, а второе множество векторов признаков связано с взаимодействием пользователей из второго множества пользователей с экспериментальной версией реализуемого посредством компьютера сервиса в течение первого периода времени;

- получение посредством сервера первого контрольного параметра метрики для первого множества векторов признаков и первого экспериментального параметра метрики для второго множества векторов признаков, а также комбинации первого контрольного параметра метрики и первого экспериментального параметра метрики, при этом комбинация по меньшей мере частично указывает на направление изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии реализуемого посредством компьютера сервиса, причем это направление может быть отрицательным или положительным;

- получение посредством сервера второго контрольного параметра метрики для первого множества векторов признаков и второго экспериментального параметра метрики для второго множества векторов признаков, а также комбинации второго контрольного параметра метрики и второго экспериментального параметра метрики, при этом комбинация по меньшей мере частично указывает на величину изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии реализуемого посредством компьютера сервиса;

- формирование посредством сервера обобщенного контрольного параметра метрики и обобщенного экспериментального параметра метрики, при этом процесс формирования включает в себя:

- вычисление посредством сервера первого весового коэффициента для взвешивания первого контрольного параметра метрики и первого экспериментального параметра метрики и второго весового коэффициента для взвешивания второго контрольного параметра метрики и второго экспериментального параметра метрики;

- выбор посредством сервера минимального первого весового коэффициента и максимального второго весового коэффициента;

- получение обобщенного контрольного параметра метрики, содержащего первый контрольный параметр метрики, взвешенный с использованием первого весового коэффициента, и второй контрольный параметр метрики, взвешенный с использованием второго весового коэффициента;

- получение обобщенного экспериментального параметра метрики, содержащего первый экспериментальный параметр метрики, взвешенный с использованием первого весового коэффициента, и второй экспериментальный параметр метрики, взвешенный с использованием второго весового коэффициента,

причем обобщенный контрольный параметр метрики и обобщенный экспериментальный параметр метрики совместно по меньшей мере частично указывают на величину и направление изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии реализуемого посредством компьютера сервиса в течение первого периода времени.

2. Способ по п. 1, отличающийся тем, что дополнительно включает в себя применение посредством сервера обобщенного контрольного параметра метрики и обобщенного экспериментального параметра метрики к новому набору данных с целью определения величины и направления изменений в действиях пользователей, при этом новый набор данных содержит третье множество векторов, связанных с взаимодействием пользователей с контрольной версией реализуемого посредством компьютера сервиса в течение второго периода времени, и четвертое множество векторов, связанных с взаимодействием пользователей с экспериментальной версией реализуемого посредством компьютера сервиса в течение второго периода времени.

3. Способ по п. 1, отличающийся тем, что

- первый весовой коэффициент указывает на относительный вклад первого контрольного параметра метрики в обобщенный контрольный параметр метрики и на относительный вклад первого экспериментального параметра метрики в обобщенный экспериментальный параметр метрики, а

- второй весовой коэффициент указывает на относительный вклад второго контрольного параметра метрики в обобщенный контрольный параметр метрики и на относительный вклад второго экспериментального параметра метрики в обобщенный экспериментальный параметр метрики.

4. Способ по п. 3, отличающийся тем, что известны величина и направление изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии реализуемого посредством компьютера сервиса в течение первого периода времени.

5. Способ по п. 4, отличающийся тем, что вычисление первого весового коэффициента и второго весового коэффициента дополнительно включает в себя вычисление посредством сервера для каждого отрезка времени в первом периоде времени знака разности первого экспериментального параметра метрики и первого контрольного параметра метрики, при этом знак разности указывает на направление изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии реализуемого посредством компьютера сервиса, которое может быть отрицательным направлением или положительным направлением, и знак разности определяется по следующей формуле:

,

где - первый контрольный параметр метрики, - первый экспериментальный параметр метрики.

6. Способ по п. 5, отличающийся тем, что дополнительно включает в себя вычисление посредством сервера для каждого отрезка времени в первом периоде времени взвешенной Z-оценки на основе обобщенного контрольного параметра метрики и обобщенного экспериментального параметра метрики, при этом взвешенная Z-оценка указывает на уровень доверия к величине изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии реализуемого посредством компьютера сервиса и определяется по формуле:

где с - весовой вектор, содержащий первый весовой коэффициент с₁ и второй весовой коэффициент с₂; М_СА - обобщенный контрольный параметр метрики; М_СВ - обобщенный экспериментальный параметр метрики; - матрица ковариаций между первым контрольным параметром метрики и вторым контрольным параметром метрики; - матрица ковариаций между первым экспериментальным параметром метрики и вторым экспериментальным параметром метрики.

7. Способ по п. 6, отличающийся тем, что дополнительно включает в себя выполнение для первого периода времени суммирование знаков разности первого экспериментального параметра метрики и первого контрольного параметра метрики, умноженных на взвешенные Z-оценки для каждого отрезка времени в пределах первого периода времени.

8. Способ по п. 7, отличающийся тем, что вычисление посредством сервера первого весового коэффициента и второго весового коэффициента дополнительно включает в себя решение следующего уравнения:

.

9. Способ по п. 8, отличающийся тем, что для решения применяется алгоритм Бройдена-Флетчера-Голдфарба-Шэнно (BFGS), градиентный алгоритм или эвристический алгоритм.

10. Способ по п. 9, отличающийся тем, что сумма первого весового коэффициента и второго весового коэффициента является константой.

11. Способ по п. 10, отличающийся тем, что выбор посредством сервера минимального первого весового коэффициента и максимального второго весового коэффициента включает в себя выбор оптимального значения для минимального первого весового коэффициента и выбор максимального второго весового коэффициента путем вычитания первого весового коэффициента из константы.

12. Способ по п. 11, отличающийся тем, что первый параметр метрики представляет собой суточное число активных пользователей (DAU), а второй параметр метрики представляет собой коэффициент переходов (CTR).

13. Способ по п. 1, отличающийся тем, что первое множество пользователей представляет собой по меньшей мере часть пользователей, взаимодействовавших с контрольной версией реализуемого посредством компьютера сервиса в течение первого периода времени.

14. Способ по п. 1, отличающийся тем, что второе множество пользователей представляет собой по меньшей мере часть пользователей, взаимодействовавших с экспериментальной версией реализуемого посредством компьютера сервиса в течение первого периода времени.

15. Система для формирования обобщенного параметра метрики, используемая для выполнения реализуемого посредством компьютера А/В-тестирования реализуемого посредством компьютера сервиса, имеющего контрольную и экспериментальную версии, содержащая:

- процессор;

- машиночитаемый физический носитель информации, содержащий команды, при выполнении которых процессор инициирует выполнение следующих действий:

- прием набора данных, содержащего первое множество векторов признаков и второе множество векторов признаков, при этом первое множество векторов признаков связано с взаимодействием пользователей из первого множества пользователей с контрольной версией реализуемого посредством компьютера сервиса в течение первого периода времени, а второе множество векторов признаков связано с взаимодействием пользователей из второго множества пользователей с экспериментальной версией реализуемого посредством компьютера сервиса в течение первого периода времени;

- получение первого контрольного параметра метрики для первого множества векторов признаков и первого экспериментального параметра метрики для второго множества векторов признаков, а также комбинации первого контрольного параметра метрики и первого экспериментального параметра метрики, которая по меньшей мере частично указывает на направление изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии реализуемого посредством компьютера сервиса, причем это направление может быть отрицательным или положительным;

- получение второго контрольного параметра метрики для первого множества векторов признаков и второго экспериментального параметра метрики для второго множества векторов признаков, а также комбинации второго контрольного параметра метрики и второго экспериментального параметра метрики, которая по меньшей мере частично указывает на величину изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии реализуемого посредством компьютера сервиса;

- формирование обобщенного контрольного параметра метрики и обобщенного экспериментального параметра метрики, при этом процесс формирования включает в себя:

- вычисление первого весового коэффициента для взвешивания первого контрольного параметра метрики и первого экспериментального параметра метрики и второго весового коэффициента для взвешивания второго контрольного параметра метрики и второго экспериментального параметра метрики;

- выбор минимального первого весового коэффициента и максимального второго весового коэффициента;

- получение обобщенного контрольного параметра метрики, содержащего первый контрольный параметр метрики, взвешенный с использованием первого весового коэффициента, и второй контрольный параметр метрики, взвешенный с использованием второго весового коэффициента;

- получение обобщенного экспериментального параметра метрики, содержащего первый экспериментальный параметр метрики, взвешенный с использованием первого весового коэффициента, и второй экспериментальный параметр метрики, взвешенный с использованием второго весового коэффициента,

причем обобщенный контрольный параметр метрики и обобщенный экспериментальный параметр метрики совместно по меньшей мере частично указывают на величину и направление изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии реализуемого посредством компьютера сервиса в течение первого периода времени.

16. Система по п. 15, отличающаяся тем, что дополнительно включает в себя применение посредством сервера обобщенного контрольного параметра метрики и обобщенного экспериментального параметра метрики к новому набору данных с целью определения величины и направления изменений в действиях пользователей, при этом новый набор данных содержит третье множество векторов, связанных с взаимодействием пользователей с контрольной версией реализуемого посредством компьютера сервиса в течение второго периода времени, и четвертое множество векторов, связанных с взаимодействием пользователей с экспериментальной версией реализуемого посредством компьютера сервиса в течение второго периода времени.

17. Система по п. 16, отличающаяся тем, что

- первый весовой коэффициент указывает на относительный вклад первого контрольного параметра метрики в обобщенный контрольный параметр метрики и первого экспериментального параметра метрики в обобщенный экспериментальный параметр метрики, а

- второй весовой коэффициент указывает на относительный вклад второго контрольного параметра метрики в обобщенный контрольный параметр метрики и второго экспериментального параметра метрики в обобщенный экспериментальный параметр метрики.

18. Система по п. 17, отличающаяся тем, что известны величина и направление изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии реализуемого посредством компьютера сервиса в течение первого периода времени.

19. Система по п. 18, отличающаяся тем, что вычисление первого весового коэффициента и второго весового коэффициента дополнительно включает в себя вычисление посредством сервера для каждого отрезка времени в первом периоде времени знака разности первого экспериментального параметра метрики и первого контрольного параметра метрики, при этом знак разности указывает на направление изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии реализуемого посредством компьютера сервиса, которое может быть отрицательным направлением или положительным направлением, и знак разности определяется по следующей формуле:

,

где - первый контрольный параметр метрики; - первый экспериментальный параметр метрики.

20. Система по п.19, отличающаяся тем, что дополнительно включает в себя вычисление для каждого отрезка времени в первом периоде времени взвешенной Z-оценки на основе обобщенного контрольного параметра метрики и обобщенного экспериментального параметра метрики, при этом взвешенная Z-оценка указывает на уровень доверия к величине изменений в действиях пользователей при переходе от контрольной версии к экспериментальной версии реализуемого посредством компьютера сервиса и определяется по формуле:

,

где с - весовой вектор, содержащий первый весовой коэффициент с₁ и второй весовой коэффициент с₂; М_СА - обобщенный контрольный параметр метрики; М_СВ - обобщенный экспериментальный параметр метрики; - матрица ковариаций между первым контрольным параметром метрики и вторым контрольным параметром метрики; - матрица ковариаций между первым экспериментальным параметром метрики и вторым экспериментальным параметром метрики.

21. Система по п. 20, отличающаяся тем, что дополнительно включает в себя выполнение для первого периода времени суммирование знаков разности первого экспериментального параметра метрики и первого контрольного параметра метрики, умноженных на взвешенные Z-оценки для каждого отрезка времени в пределах первого периода времени.

22. Система по п. 21, отличающаяся тем, что вычисление первого весового коэффициента и второго весового коэффициента дополнительно включает в себя решение следующего уравнения:

.

23. Система по п. 22, отличающаяся тем, что для решения используется алгоритм Бройдена-Флетчера-Голдфарба-Шэнно (BFGS), градиентный алгоритм или эвристический алгоритм.

24. Система по п. 23, отличающаяся тем, что сумма первого весового коэффициента и второго весового коэффициента является константой.

25. Система по п. 24, отличающаяся тем, что выбор минимального первого весового коэффициента и максимального второго весового коэффициента включает в себя выбор оптимального значения для минимального первого весового коэффициента и выбор максимального второго весового коэффициента посредством вычитания первого весового коэффициента из константы.

26. Система по п. 25, отличающаяся тем, что первый параметр метрики представляет собой суточное число активных пользователей (DAU), а второй параметр метрики представляет собой коэффициент переходов (CTR).

27. Система по п. 15, отличающаяся тем, что первое множество пользователей представляет собой по меньшей мере часть пользователей, взаимодействовавших с контрольной версией реализуемого посредством компьютера сервиса в течение первого периода времени.

28. Система по п.15, отличающаяся тем, что второе множество пользователей представляет собой по меньшей мере часть пользователей, взаимодействовавших с экспериментальной версией реализуемого посредством компьютера сервиса в течение первого периода времени.