Способ и сервер проведения контролируемого эксперимента с использованием прогнозирования будущего пользовательского поведения

Изобретение относится к средствам проведения контролируемого эксперимента с использованием прогнозирования будущего поведения пользователя. Технический результат заключается в уменьшении времени проведения раздельного тестирования для веб-оптимизации. Результат достигается применением способа проведения контролируемого эксперимента с использованием предсказания будущего пользовательского поведения. Способ выполняется на сервере и включает этапы: сбор данных о поведении пользователей: из первой группы пользователей, которым представляют контрольный вариант сервиса, и из второй группы пользователей, которым представляют экспериментальный вариант сервиса; на основе модели прогнозирования, примененной к собранным данным о поведении, определение спрогнозированных значений параметра качества для каждого пользователя из: первой группы пользователей и второй группы пользователей за соответствующие промежутки времени; определение статистически значимой разницы между спрогнозированными значениями параметра качества для каждого пользователя из первой группы пользователей и спрогнозированными значениями параметра качества для каждого пользователя из второй группы пользователей. 2 н. и 30 з.п. ф-лы, 5 ил.

 

Область техники

[01] Настоящее техническое решение относится к системам и способам проведения контролируемого эксперимента с использованием прогнозирования будущего пользовательского поведения.

Уровень техники

[02] За последние годы контролируемые эксперименты, также известные как А/В тестирование, стали на современном уровне техники инструментом улучшения онлайн-сервисов на основе решений ориентированных на данные. Современные онлайн-компании, например Майкрософт, Гугл и Яндекс, используют онлайн контролируемые эксперименты повсеместно для улучшения своих сервисов, в том числе представления страниц результатов поиска (SERP), посредством ориентированных на данные решений, основанных на результатах, полученных из таких экспериментов. Самые крупные компании, предоставляющие веб-сервисы, разработали специальные экспериментальные платформы, которые позволяют проводить А/В тестирование в больших масштабах.

[03] Контролируемый эксперимент сравнивает два варианта сервиса единовременно, посредством представления вариантов двум группам пользователей и измерения разницы по ключевым показателям между ними, обычно это показатель степени вовлеченности пользователя в контексте онлайн-сервисов (например, число посещений, число щелчков (кликов) и т.д.). Способность показателя определять статистически значимую разницу при эффекте условий эксперимента упоминается как чувствительность эксперимента. Компании, предоставляющие онлайн-сервисы, постоянно предпринимают попытки улучшать чувствительность своих контролируемых экспериментов, поскольку чем больше чувствительность, тем более приближенными к реальности получаются результаты, что, в свою очередь, позволяет этим компаниям улучшать свои сервисы более успешно и эффективно.

[04] Подходы текущего уровня техники для улучшения чувствительности контролируемых экспериментов сводятся к увеличению количества наблюдаемых статистических данных, что может быть осуществлено либо увеличением количества пользователей, участвующих в эксперименте, либо увеличением длительности эксперимента. Однако оба эти подхода обладают значительными недостатками. Во-первых, количество пользователей ограничивается трафиком веб-сервиса, и, таким образом, не всегда возможно увеличить количество пользователей, участвующих в онлайн контролируемом эксперименте. Во-вторых, повышение длительности контролируемого эксперимента сокращает количество экспериментов, которые могут быть проведены за данный промежуток времени, что особенно критично при учете того, что контролируемые эксперименты обычно проводятся для оценки нового элемента или обновления сервиса, и чем быстрее будет завершен эксперимент, тем быстрее новый элемент может быть запущен или, при необходимости, преобразован.

Раскрытие

[05] Задачей предлагаемого технического решения является устранение по меньшей мере некоторых недостатков, присущих известному уровню техники. Технический результат заключается в уменьшении времени необходимого для проведения А/В теста.

[06] Первым объектом настоящего технического решения является способ проведения контролируемого эксперимента с использованием прогнозирования будущего пользовательского поведения. Способ включает в себя: сбор данных о поведении пользователей из первой группы пользователей и пользователей из второй группы пользователей за первый промежуток времени, где: первой группе пользователей представляют контрольный вариант сервиса; второй группе пользователей представляют экспериментальный вариант сервиса; и данные о поведении относятся к параметру качества контролируемого эксперимента; на основе по меньшей мере одной модели прогнозирования, примененной к данным о поведении, определение спрогнозированных значений параметра качества для каждого пользователя из первой группы пользователей и каждого пользователя из второй группы пользователей за второй промежуток времени; и определение того, существует ли статистически значимая разница между спрогнозированными значениями параметра качества для каждого пользователя из первой группы пользователей и спрогнозированными значениями параметра качества для каждого пользователя из второй группы пользователей.

[07] В некоторых вариантах осуществления способа способ дополнительно включает в себя: вычисление среднего значения спрогнозированных значений параметра качества для каждого пользователя из первой группы пользователей; вычисление среднего значения спрогнозированных значений параметра качества для каждого пользователя из второй группы пользователей; и определение того, существует ли статистически значимая разница между средним значением спрогнозированных значений параметра качества для каждого пользователя из первой группы пользователей и средним значением спрогнозированных значений параметра качества для каждого пользователя из второй группы пользователей.

[08] В некоторых вариантах осуществления способа способ дополнительно включает в себя: получение действительного значения параметра качества для каждого пользователя из первой группы пользователей и для каждого пользователя из второй группы пользователей на основе данных о поведении, собранных за первый промежуток времени; комбинирование каждого действительного значения параметра качества для каждого пользователя из первой группы пользователей с соответствующим спрогнозированным значением параметра качества для каждого пользователя из первой группы пользователей с получением комбинированного значения параметра качества для каждого пользователя из первой группы пользователей; комбинирование каждого действительного значения параметра качества для каждого пользователя из второй группы пользователей с соответствующим спрогнозированным значением параметра качества для каждого пользователя из второй группы пользователей с получением комбинированного значения параметра качества для каждого пользователя из второй группы пользователей; определение среднего значения комбинированных значений параметра качества для каждого пользователя из первой группы пользователей; определение среднего значения комбинированных значений параметра качества для каждого пользователя из второй группы пользователей; и определение того, существует ли статистически значимая разница между средним значением комбинированных значений параметра качества для каждого пользователя из первой группы пользователей и средним значением комбинированных значений параметра качества для каждого пользователя из второй группы пользователей.

[09] В некоторых вариантах осуществления способа сервис является онлайн-сервисом.

[10] В некоторых вариантах осуществления способа контролируемый эксперимент оценивает изменение в исполнении онлайн-сервиса.

[11] В некоторых вариантах осуществления способа онлайн-сервис является поисковой системой.

[12] В некоторых вариантах осуществления способа изменение в исполнении является по меньшей мере одним из: изменением в алгоритме ранжирования поисковой системы, изменением во времени ответа поисковой системы или изменением в пользовательском интерфейсе поисковой системы.

[13] В некоторых вариантах осуществления способа данные о поведении включают в себя показатели пользовательских взаимодействий с поисковой системой.

[14] В некоторых вариантах осуществления способа параметр качества включает в себя предварительно выбранный тип пользовательского взаимодействия с поисковой системой.

[15] В некоторых вариантах осуществления способа предварительно выбранный тип пользовательского взаимодействия включает в себя по меньшей мере одно из: число сессий в расчете на каждого пользователя; число запросов в расчете на каждого пользователя; число щелчков в расчете на каждого пользователя; время присутствия пользователя; число щелчков в расчете на запрос пользователя; время отсутствия в расчете на сессию пользователя.

[16] В некоторых вариантах осуществления способа первый промежуток времени соответствует длительности контролируемого эксперимента.

[17] В некоторых вариантах осуществления способа первый промежуток времени соответствует промежутку времени, меньшему, чем длительность контролируемого эксперимента.

[18] В некоторых вариантах осуществления способа контролируемый эксперимент завершается раньше окончания длительности контролируемого эксперимента.

[19] В некоторых вариантах осуществления способа модель прогнозирования является либо моделью дерева принятия решений, построенной с помощью метода градиентного спуска (англ. gradient boosting decision tree model), либо моделью линейной регрессии.

[20] В некоторых вариантах осуществления способа получают по меньшей мере один признак, извлеченный из данных о поведении, и обрабатывают моделью прогнозирования для выполнения определения спрогнозированных значений параметра качества.

[21] В некоторых вариантах осуществления способа по меньшей мере один признак, извлеченный из данных о поведении, является одним из: общий признак, признак временных рядов, статистический признак, признак периодичности, производный признак.

[22] Другим объектом настоящего технического решения является сервер, включающий в себя процессор и машиночитаемые инструкции для проведения контролируемого эксперимента с использованием прогнозирования будущего пользовательского поведения. Процессор выполнен с возможностью осуществлять: сбор данных о поведении пользователей из первой группы пользователей и пользователей из второй группы пользователей за первый промежуток времени, где: первой группе пользователей представляют контрольный вариант сервиса; второй группе пользователей представляют экспериментальный вариант сервиса; и данные о поведении относятся к параметру качества контролируемого эксперимента; на основе по меньшей мере одной модели прогнозирования, примененной к данным о поведении, определение спрогнозированных значений параметра качества для каждого пользователя из первой группы пользователей и каждого пользователя из второй группы пользователей за второй промежуток времени; и определение того, существует ли статистически значимая разница между спрогнозированными значениями параметра качества для каждого пользователя из первой группы пользователей и спрогнозированными значениями параметра качества для каждого пользователя из второй группы пользователей.

[23] В некоторых вариантах осуществления способа сервер дополнительно выполнен с возможностью осуществлять: вычисление среднего значения спрогнозированных значений параметра качества для каждого пользователя из первой группы пользователей; вычисление среднего значения спрогнозированных значений параметра качества для каждого пользователя из второй группы пользователей; и определение того, существует ли статистически значимая разница между средним значением спрогнозированных значений параметра качества для каждого пользователя из первой группы пользователей и средним значением спрогнозированных значений параметра качества для каждого пользователя из второй группы пользователей.

[24] В некоторых вариантах осуществления способа сервер дополнительно выполнен с возможностью осуществлять: получение действительного значения параметра качества для каждого пользователя из первой группы пользователей и для каждого пользователя из второй группы пользователей на основе данных о поведении, собранных за первый промежуток времени; комбинирование каждого действительного значения параметра качества для каждого пользователя из первой группы пользователей с соответствующим спрогнозированным значением параметра качества для каждого пользователя из первой группы пользователей с получением комбинированного значения параметра качества для каждого пользователя из первой группы пользователей; комбинирование каждого действительного значения параметра качества для каждого пользователя из второй группы пользователей с соответствующим спрогнозированным значением параметра качества для каждого пользователя из второй группы пользователей с получением комбинированного значения параметра качества для каждого пользователя из второй группы пользователей; определение среднего значения комбинированных значений параметра качества для каждого пользователя из первой группы пользователей; определение среднего значения комбинированных значений параметра качества для каждого пользователя из второй группы пользователей; и определение того, существует ли статистически значимая разница между средним значением комбинированных значений параметра качества для каждого пользователя из первой группы пользователей и средним значением комбинированных значений параметра качества для каждого пользователя из второй группы пользователей.

[25] В некоторых вариантах осуществления сервера сервис является онлайн-сервисом.

[26] В некоторых вариантах осуществления сервера контролируемый эксперимент оценивает изменение в исполнении онлайн-сервиса.

[27] В некоторых вариантах осуществления сервера онлайн-сервис является поисковой системой.

[28] В некоторых вариантах осуществления сервера изменение в исполнении онлайн-сервиса является по меньшей мере одним из: изменением в алгоритме ранжирования поисковой системы или изменением во времени ответа поисковой системы или изменением в пользовательском интерфейсе поисковой системы.

[29] В некоторых вариантах осуществления сервера данные о поведении включают в себя показатели пользовательских взаимодействий с поисковой системой.

[30] В некоторых вариантах осуществления сервера параметр качества включает в себя предварительно выбранный тип пользовательского взаимодействия с поисковой системой.

[31] В некоторых вариантах осуществления сервера предварительно выбранный тип пользовательского взаимодействия включает в себя по меньшей мере одно из: число сессий в расчете на каждого пользователя; число запросов в расчете на каждого пользователя; число щелчков в расчете на каждого пользователя; время присутствия пользователя; число щелчков в расчете на запрос пользователя; время отсутствия в расчете на сессию пользователя.

[32] В некоторых вариантах осуществления сервера первый промежуток времени соответствует длительности контролируемого эксперимента.

[33] В некоторых вариантах осуществления сервера первый промежуток времени соответствует промежутку времени, меньшему, чем длительность контролируемого эксперимента.

[34] В некоторых вариантах осуществления сервера контролируемый эксперимент завершается раньше окончания длительности контролируемого эксперимента.

[35] В некоторых вариантах осуществления сервера модель прогнозирования является либо моделью дерева принятия решений, построенной с помощью метода градиентного спуска (англ. gradient boosting decision tree model), либо моделью линейной регрессии.

[36] В некоторых вариантах осуществления сервера процессор выполнен с возможностью получать по меньшей мере один признак, извлеченный из данных о поведении, и обрабатывать моделью прогнозирования для выполнения определения спрогнозированных значений параметра качества.

[37] В некоторых вариантах осуществления сервера по меньшей мере один признак, извлеченный из данных о поведении, является одним из: общий признак, признак временных рядов, статистический признак, признак периодичности, производный признак.

[38] В контексте настоящего описания, если конкретно не указано иное, «сервер» подразумевает под собой компьютерную программу, работающую на соответствующем оборудовании, которая способна получать запросы (например, от электронных устройств) по сети и выполнять эти запросы или инициировать выполнение этих запросов. Оборудование может представлять собой один физический компьютер или одну физическую компьютерную систему, но ни то, ни другое не является обязательным для данного технического решения. В контексте настоящего технического решения использование выражения «сервер» не означает, что каждая задача (например, полученные команды или запросы) или какая-либо конкретная задача будет получена, выполнена или инициирована к выполнению одним и тем же сервером (то есть одним и тем же программным обеспечением и/или аппаратным обеспечением); это означает, что любое количество элементов программного обеспечения или аппаратных устройств может быть вовлечено в прием/передачу, выполнение или инициирование выполнения любого запроса или последствия любого запроса, связанного с клиентским устройством, и все это программное и аппаратное обеспечение может быть одним сервером или несколькими серверами; оба варианта включены в выражение «по меньшей мере один сервер».

[39] В контексте настоящего описания, если конкретно не указано иное, «электронное устройство» подразумевает под собой аппаратное устройство, способное работать с программным обеспечением, подходящим к решению соответствующей задачи. Неограничивающими примерами электронных устройств, являются персональные компьютеры (настольные компьютеры, ноутбуки и т.д.), смартфоны и планшеты. Следует иметь в виду, что устройство, ведущее себя как электронное устройство в настоящем контексте, может вести себя как сервер по отношению к другим электронным устройствам. Использование выражения «электронное устройство» не исключает возможности использования множества электронных устройств для получения/отправки, выполнения или инициирования выполнения любой задачи или запроса, или же последствий любой задачи или запроса, или же этапов любого вышеописанного метода.

[40] В контексте настоящего описания, если конкретно не указано иное, термин «база данных» подразумевает под собой любой структурированный набор данных, не зависящий от конкретной структуры, программного обеспечения по управлению базой данных, аппаратного обеспечения компьютера, на котором данные хранятся, используются или иным образом оказываются доступны для использования. База данных может находиться на том же оборудовании, выполняющем процесс, на котором хранится или используется информация, хранящаяся в базе данных, или же база данных может находиться на отдельном оборудовании, например, выделенном сервере или множестве серверов.

[41] В контексте настоящего описания, если конкретно не указано иное, термин «компонент» подразумевает под собой программное обеспечение (соответствующее конкретному аппаратному контексту), которое является необходимым и достаточным для выполнения конкретной(ых) указанной(ых) функции(й).

[42] В контексте настоящего описания, если конкретно не указано иное, термин «используемый компьютером носитель компьютерной информации» подразумевает под собой носитель абсолютно любого типа и характера, включая ОЗУ, ПЗУ, диски (компакт диски, DVD-диски, дискеты, жесткие диски и т.д.), USB флеш-накопители, твердотельные накопители, накопители на магнитной ленте и т.д.

[43] Следует иметь в виду, что некоторые объекты данного технического решения, полученные в результате попыток достичь вышеупомянутой цели, могут удовлетворять и другим целям, отдельно не указанным здесь.

[44] Дополнительные и/или альтернативные характеристики, аспекты и преимущества вариантов осуществления настоящего технического решения станут очевидными из последующего описания, прилагаемых чертежей и прилагаемой формулы изобретения.

Краткое описание чертежей

[45] Для лучшего понимания настоящего технического решения, а также других его аспектов и характерных черт, сделана ссылка на следующее описание, которое должно использоваться в сочетании с прилагаемыми чертежами, где:

[46] На ФИГУРЕ 1 схематически представлена система, выполненная в соответствии с вариантом осуществления настоящего технического решения;

[47] На ФИГУРЕ 2 представлены оцененные показатели пользовательских взаимодействий, обработанные сервером и сохраненные в хранилище;

[48] На ФИГУРЕ 3 представлены спрогнозированные показатели пользовательских взаимодействий, определенные на сервере и сохраненные в хранилище;

[49] На ФИГУРЕ 4 представлена хронологическая шкала показателей пользовательских взаимодействий, возникших за первый промежуток времени, и спрогнозированных показателей пользовательских взаимодействий, возникших за второй промежуток времени;

[50] На ФИГУРЕ 5 представлена блок-схема способа проведения онлайн контролируемого эксперимента с использованием прогнозирования будущего пользовательского поведения.

Осуществление

[51] На Фигуре 1 схематически изображена система 100, которая соединена по сети 114 передачи данных. Важно иметь в виду, что нижеследующее описание системы 100 представляет собой описание показательных вариантов осуществления настоящего технического решения. Таким образом, следующее описание должно рассматриваться только как описание иллюстративного варианта осуществления настоящего технического решения. Это описание не предназначено для определения объема или установления границ настоящего технического решения. Некоторые полезные примеры модификаций системы 100 также могут быть охвачены нижеследующим описанием. Целью этого является также исключительно помощь в понимании, а не определение объема и границ настоящего технического решения. Эти модификации не представляют собой исчерпывающий список, и специалистам в данной области техники будет понятно, что возможны и другие модификации. Кроме того, те случаи, в которых не были представлены примеры модификаций, не должны интерпретироваться как то, что никакие модификации невозможны, и/или что то, что было описано, является единственным вариантом осуществления этого элемента настоящего технического решения. Как будет понятно специалисту в данной области техники, это, скорее всего, не так. Кроме того, следует иметь в виду, что система 100 представляет собой в некоторых конкретных проявлениях достаточно простой вариант осуществления настоящего технического решения, и в подобных случаях этот вариант представлен здесь с целью облегчения понимания. Как будет понятно специалисту в данной области техники, многие варианты осуществления настоящего технического решения будут обладать гораздо большей сложностью.

[52] Реализация линии (не изображена) передачи данных никак конкретно не ограничена и будет зависеть от того, какие устройства подключены к сети 114 передачи данных. В качестве неограничивающего примера, соединение сервера 116 с сетью 114 передачи данных может быть выполнено с помощью проводного соединения (например, соединение на основе сети Ethernet). В то же время другие устройства могут быть соединены другим способом. В тех примерах, где присоединенное устройство (не изображено) представляет собой беспроводное устройство связи (например, смартфон), соединение представляет собой беспроводную сеть передачи данных (например, среди прочего, линию передачи данных 3G, линию передачи данных 4G, беспроводной интернет Wireless Fidelity или коротко WiFi®, Bluetooth® и т.п.). В тех примерах, где первое электронное устройство 104 и второе электронное устройство 110 представляют собой стационарные компьютеры, линия передачи данных может быть как беспроводной, так и проводной (соединение на основе сети Ethernet).

[53] Система 100 может включать в себя сервер 116. Сервер 116 может представлять собой обычный компьютерный сервер. В примере варианта осуществления настоящего технического решения, сервер 116 может представлять собой сервер Dell™ PowerEdge™, на котором используется операционная система Microsoft™ Windows Server™. Излишне говорить, что сервер 116 может представлять собой любое другое подходящее аппаратное и/или прикладное программное, и/или системное программное обеспечение или их комбинацию. В представленном варианте осуществления настоящего технического решения, не ограничивающем его объем, сервер 116 является одиночным сервером. В других вариантах осуществления настоящего технического решения, не ограничивающих его объем, функциональность сервера 116 может быть разделена и может выполняться с помощью нескольких серверов. В некоторых вариантах осуществления настоящего технического решения сервер 116 может включать в себя программное обеспечение поисковой системы (не изображено) и может также управляться поставщиком поисковой системы, например, Яндекс. В соответствии с вариантами осуществления настоящего технического решения и как будет описано подробнее ниже, сервер 116 выполнен с возможностью выполнять контролируемый эксперимент, который оценивает изменение в исполнении страниц результатов поиска (SERP).

[54] Сервер 116 включает в себя носитель 118 информации, который может использоваться сервером 116. В общем случае носитель 118 информации может быть выполнен как носитель любого характера и вида, включая ОЗУ, ПЗУ, диски (компакт диски, DVD-диски, дискеты, жесткие диски и т.д.), USB флеш-накопители, твердотельные накопители, накопители на магнитной ленте и т.д., а также их комбинацию.

[55] Варианты осуществления сервера 116 хорошо известны. Таким образом, достаточно отметить, что сервер 116 включает в себя, среди прочего, интерфейс сетевой связи (например, модем, сетевую карту и тому подобное) для двусторонней связи по сети 114 передачи данных; и процессор (не изображен), соединенный с интерфейсом сетевой связи, который выполнен с возможностью выполнять различные процедуры, включая те, что описаны ниже. С этой целью процессор может хранить машиночитаемые инструкции или иметь доступ к машиночитаемым инструкциям, хранящимся на носителе 118 информации, выполнение которых инициирует процессор выполнять различные описанные здесь процедуры. Носитель 118 информации сервера 116 выполнен с возможностью хранить данные, включая машиночитаемые инструкции и базы данных.

[56] В некоторых вариантах осуществления технического решения носитель 118 информации выполнен с возможностью сохранять различные данные, например, индексы веб-страниц, с которых была собрана информация, с помощью приложения поискового робота (не изображен) программного обеспечения поисковой системы, доступного на сервере 116. В других вариантах осуществления настоящего технического решения носитель 118 информации может хранить иные данные, полученные сервером 116.

[57] Система 100 включает в себя первое электронное устройство 104 и второе электронное устройство 110. Первое электронное устройство 104 связано с первой группой 102 пользователей, а второе электронное устройство 110 связано со второй группой 108 пользователей. Следует отметить, что тот факт, что первое электронное устройство 104 связано с первой группой 102 пользователей, а второе устройство 110 связано со второй группой 108 пользователей, не подразумевает какого-либо конкретного режима работы, равно как и необходимости входа в систему, регистрации, или чего-либо подобного. В дополнительных вариантах осуществления технического решения первое электронное устройство 104 может быть первым множеством электронных устройств, а второе электронное устройство 110 может быть вторым множеством электронных устройств. Таким образом, первое и второе электронные устройства 104 и 110 были изображены как одиночные электронные устройства на Фигуре 1 исключительно для упрощения.

[58] В некоторых вариантах осуществления настоящего технического решения размер первой группы 102 пользователей и размер второй группы 108 пользователей может быть идентичен. Другими словами, число пользователей в первой группе 102 пользователей может быть идентично числу пользователей во второй группе 108 пользователей. В альтернативных вариантах осуществления настоящего технического решения размер первой группы 102 пользователей и размер второй группы 108 пользователей может быть сравним. Другими словами, число пользователей в первой группе 102 пользователей может быть близко к числу пользователей во второй группе 108 пользователей. Например, число пользователей в первой группе 102 пользователей и число пользователей во второй группе 108 пользователей может составлять сотни тысяч. Следует отметить, что число пользователей в первой группе 102 пользователей и во второй группе 108 пользователей не должно являться ограничивающим фактором настоящего технического решения.

[59] Первое электронное устройство 104 и второе электронное устройство 110, каждое, включают в себя носитель информации (не изображен). В общем случае носитель информации может быть выполнен как носитель любого характера и вида, включая ОЗУ, ПЗУ, диски (компакт диски, DVD-диски, дискеты, жесткие диски и т.д.), USB флеш-накопители, твердотельные накопители, накопители на магнитной ленте и т.д. а также их комбинацию. Носитель информации может хранить файлы пользователя и программные инструкции. В частности, носитель информации может хранить программное обеспечение для реализации браузерного приложения. В некоторых вариантах осуществления настоящего технического решения первое электронное устройство 104 может реализовать браузер 106, а второе электронное устройство 110 может реализовать браузер 112. В общем случае задачей браузера 106 и браузера 112 является предоставление первой группе 102 пользователей и второй группе 108 пользователей возможности запрашивать данные веб-страниц и отображать данные на экранах электронных устройств 104 и 110. В некоторых вариантах осуществления настоящего технического решения браузер 106 и браузер 112 могут быть предоставлены одним и тем же поставщиком, а в других вариантах осуществления настоящего технического решения браузер 106 и браузер 112 могут быть предоставлены разными поставщиками.

[60] Варианты осуществления первого электронного устройства 104 и второго электронного устройства 110 никак конкретно не ограничены, но в качестве примера первое электронное устройство 104 и второе электронное устройство 110 могут быть реализованы как персональные компьютеры (настольные компьютеры, ноутбуки, нетбуки и т.п.) или беспроводное устройство передачи данных (мобильные телефоны, смартфоны, планшеты и т.п.). На Фигуре 1 первое электронное устройство 104 и второе электронное устройство 110 выполнены как ноутбуки, например, как Apple™ MacBook Pro™. Первое электронное устройство 104 может реализовать браузер 106, который является браузерным приложением Яндекс. Второе электронное устройство 110 может реализовать браузер 112, который является другим браузерным приложением. В некоторых вариантах осуществления настоящего технического решения браузер 106 может быть идентичен браузеру 112. Важно иметь в виду, что любое другое коммерчески доступное или собственное браузерное приложение может быть использовано для реализации вариантов осуществления настоящего технического решения, не ограничивающих его объем. Кроме того, следует отметить, что браузер 106, а также и браузер 112, и поисковая система, доступная на сервере 116, могут иметь общего поставщика или различных поставщиков.

[61] Каждый пользователь из первой группы пользователей 102 может получить доступ к сервису в сети. В некоторых вариантах осуществления технического решения сервис может быть веб-сайтом. В альтернативных вариантах осуществления технического решения сервис может быть веб-приложением, например, картографическим сервисом или сервисом электронной почты. В других вариантах осуществления технического решения сервис может быть поисковой системой. Таким образом, в некоторых вариантах осуществления настоящего технического решения, каждый пользователь в первой группе 102 пользователей может получить доступ к поисковой системе с помощью, например, перехода на www.yandex.com. через браузер 106, для просмотра набора поисковых результатов, которые отвечают на пользовательский поисковый запрос.

[62] Таким образом, пакет 120 данных может быть создан браузером 106 и может быть отправлен серверу 116 по сети 114 передачи данных. Пакет 120 данных включает в себя пользовательский поисковый запрос на получение страницы результатов поиска (SERP). В некоторых вариантах осуществления настоящего технического решения программное обеспечение поисковой системы сервера 116 может определять набор поисковых результатов и может создавать и отправлять пакет 124 данных первому электронному устройству 104. Пакет 124 данных может включать в себя первую версию SERP и инструкции для браузера 106 на отображение первой версии SERP на экране первого электронного устройства 104. То, как создается SERP, никак конкретно не ограничено, и для ее создания может использоваться любая известная техника.

[63] В некоторых вариантах осуществления настоящего технического решения пакет 120 данных может включать в себя первое множество пакетов данных, причем каждый пакет данных из первого множества пакетов данных отправлен с соответствующего электронного устройства из первого множества электронных устройств. Аналогично, пакет 124 данных может включать в себя второе множество пакетов данных, причем каждый пакет данных из второго множества пакетов данных отправлен с соответствующего электронного устройства из первого множества электронных устройств.

[64] Аналогично, каждый пользователь во второй группе 108 пользователей может получить доступ к веб-сайту поисковой системы поставщика, например, через браузер 112, для просмотра набора поисковых результатов, связанных с пользовательским поисковым запросом. Другими словами, пакет 122 данных может быть создан браузером 112 и может быть отправлен серверу 116 по сети 114 передачи данных. Пакет 122 данных включает в себя пользовательский запрос на получение SERP. В некоторых вариантах осуществления настоящего технического решения программное обеспечение поисковой системы сервера 116 может определять набор поисковых результатов и может создавать и отправлять пакет 126 данных второму электронному устройству 110. Пакет 126 данных может включать в себя вторую версию SERP и инструкции для браузера 112 на отображение второй версии SERP на экране второго электронного устройства 110.

[65] В некоторых вариантах осуществления настоящего технического решения пакет 122 данных может включать в себя третье множество пакетов данных, причем каждый пакет данных из третьего множества пакетов данных отправлен с соответствующего электронного устройства из второго множества электронных устройств. Аналогично, пакет 126 данных может включать в себя четвертое множество пакетов данных, причем каждый пакет данных из четвертого множества пакетов данных отправлен с соответствующего электронного устройства из второго множества электронных устройств.

[66] Вторая версия SERP, в общем случае, отличается от первой версии SERP. В некоторых вариантах осуществления настоящего технического решения вторая версия SERP может быть модифицированной версией SERP. Другими словами, вторая версия SERP может быть первой версией SERP, включающей в себя модификацию (т.е., модифицированной первой версией SERP). Например, модификации может подвергнуться пользовательский интерфейс SERP, или алгоритм ранжирования SERP, изменение во времени ответа поисковой системы для создания SERP, изменение в пользовательском интерфейсе на SERP и так далее, или любая комбинация перечисленного. В других вариантах осуществления технического решения вторая версия SERP может обладать, по сравнению с первой версией SERP, модифицированным дизайном рекламы, модифицированным фоновым цветом, модифицированными фрагментами информации (сниппетами, от англ. snippets), модифицированным представлением рекламы в конкретном расположении на SERP или любой комбинацией вышеперечисленного. В другом варианте осуществления технического решения первая версия SERP может быть текущей выпускаемой версией SERP, реализованной программным обеспечением поисковой системы, а вторая версия SERP может быть обновлением или модификацией текущей выпускаемой версией SERP. Таким образом, в некоторых вариантах осуществления технического решения контролируемый эксперимент оценивает изменение в исполнении SERP. Более того, следует отметить, что настоящим техническим решением могут быть предусмотрены другие модификации, отличные от тех, что перечислены выше. Также следует отметить, что в контексте контролируемого эксперимента первая версия SERP может называться «контрольным» вариантом сервиса, а вторая версия SERP, обладающая одной или несколькими модификациями, может называться «экспериментальным» вариантом сервиса.

[67] Кроме того, после получения пакета 124 данных и пакета 126 данных первым электронным устройством 104 и вторым электронным устройством 110 соответственно браузер 106 может отобразить первую версию SERP, включенную в пакет 124 данных, первой группе 102 пользователей, а браузер 112 может отобразить вторую версию SERP, включенную в пакет 126 данных, второй группе 108 пользователей. После отображения первой версии SERP, первая группа 102 пользователей может решить осуществить пользовательские взаимодействия с первой версией SERP. Аналогично, после отображения второй версии SERP, вторая группа 108 пользователей может решить осуществить пользовательские взаимодействия со второй версией SERP.

[68] В общем случае каждый пользователь из первой группы 102 пользователей и второй группы 108 пользователей может «взаимодействовать» с сервисом множеством способов. Таким образом, каждый пользователь из первой группы 102 пользователей и второй группы 108 пользователей может «взаимодействовать» с SERP. В некоторых примерах множество способов, с помощью которых первая группа 102 пользователей и вторая группа 108 пользователей может взаимодействовать с SERP, включает в себя выбор конкретного поискового результата или ссылки, отправку переформулированного запроса или иного запроса, проведение определенного количества времени на SERP или на странице конкретного поискового результата и так далее. Следовательно, в некоторых вариантах осуществления настоящего технического решения типы пользовательского взаимодействия могут быть следующими: щелчки мышью (клики) на SERP, отправка запросов пользователями на SERP, время присутствия на SERP, пользовательские сессии SERP, время отсутствия в расчете на сессию и так далее. Данные о пользовательском поведении, включающие в себя информацию о пользовательских взаимодействиях, могут храниться в кэше (не изображен) браузера 106 и/или браузера 112. Следует отметить, что несколько способов взаимодействия с SERP были представлены исключительно с целью объяснения и иллюстрации, и в некоторых вариантах осуществления настоящего технического решения могут быть предусмотрены другие типы пользовательских взаимодействий с SERP.

[69] В других вариантах осуществления настоящего технического решения пакет 128 данных может быть отправлен первым электронным устройством 104 серверу 116. Пакет 128 данных включает в себя информацию, относящуюся к пользовательским взаимодействиям первой группы 102 пользователей с первой версией SERP. Аналогично, пакет 130 данных может быть отправлен вторым электронным устройством 110 серверу 116. Пакет 130 данных включает в себя информацию, относящуюся к пользовательским взаимодействиям второй группы 108 пользователей со второй версией SERP.

[70] В некоторых вариантах осуществления настоящего технического решения пакет 128 данных может включать в себя пятое множество пакетов данных, причем каждый пакет данных из пятого множества пакетов данных отправлен с соответствующего электронного устройства из первого множества электронных устройств. Аналогично, пакет 130 данных может включать в себя шестое множество пакетов данных, причем каждый пакет данных из шестого множества пакетов данных отправлен с соответствующего электронного устройства из второго множества электронных устройств.

[71] В других вариантах осуществления технического решения сервер 116 может быть выполнен с возможностью сохранять в хранилище 118 данные о поведении, относящиеся к пользовательским взаимодействиям первой группы 102 пользователей с первой версией SERP, и информацию, относящуюся к пользовательским взаимодействиям второй группы 108 пользователей со второй версией SERP.

[72] Сервер 116 может фильтровать данные о поведении, относящиеся к пользовательским взаимодействиям, для получения информации, связанной с параметром качества контролируемого эксперимента. В общем случае, параметр качества является параметром, выбранным для оценки различий в пользовательском поведении между контрольным вариантом сервиса (например, первой версией SERP) и экспериментальным вариантом сервиса (например, второй версией SERP). В некоторых вариантах осуществления настоящего технического решения параметр качества может быть предварительно выбранным типом пользовательского взаимодействия. Например, если модификация применена к алгоритму ранжирования поисковых результатов, сервер 116 может фильтровать информацию, относящуюся к пользовательским взаимодействиям, для получения информации, относящейся ко времени, проведенному на выбранном поисковом результате. Обычно предварительно выбранный тип пользовательского взаимодействия предварительно выбран на основе того, насколько хорошо предварительно выбранный тип пользовательского взаимодействия может отразить изменение в пользовательском поведении между первой и второй версиями SERP.

[73] В одном варианте осуществления настоящего технического решения предварительно выбранный тип пользовательского взаимодействия может быть предварительно выбран экспертом. В другом варианте осуществления технического решения предварительно выбранный тип пользовательского взаимодействия может быть предварительно выбран сервером 116 на основе модификации, примененной ко второй версии SERP. Более того, в некоторых вариантах осуществления настоящего технического решения предварительно выбранный тип пользовательского взаимодействия может включать в себя более чем один тип пользовательского взаимодействия. Например, предварительно выбранный тип пользовательского взаимодействия может включать в себя и число щелчков в расчете на сессию и число сессий в день, или любую другую комбинацию типов пользовательских взаимодействий. Таким образом, предварительно выбранный тип пользовательского взаимодействия упоминается в единственном числе исключительно для простоты понимания.

[74] В других вариантах осуществления настоящего технического решения сервер 116 может быть выполнен с возможностью отправлять другую инструкцию (не изображена) первому электронному устройству 104 и второму электронному устройству 110 для включения в пакет 128 и 130 информации, относящейся к пользовательским взаимодействиям, которые относятся только к предварительно определенному типу пользовательского взаимодействия соответственно.

[75] Сервер 116 может быть выполнен с возможностью собирать данные о поведении, относящиеся к параметру качества контролируемого эксперимента, первой группы пользователей и второй группы пользователей за первый промежуток времени. В некоторых вариантах осуществления технического решения первый промежуток времени может соответствовать длительности контролируемого эксперимента. В других вариантах осуществления технического решения первый промежуток времени может соответствовать промежутку времени, меньшему, чем длительность контролируемого эксперимента. Таким образом, сервер 116 может быть выполнен с возможностью собирать данные о поведении с помощью показателей пользовательских взаимодействий с первой версией SERP и второй версией SERP, причем эти взаимодействия возникли за первый промежуток времени. Как указано выше, показатели пользовательских взаимодействий могут принадлежать к любому типу показателей, относящихся к взаимодействию между первой группой 102 пользователей с первой версией SERP и второй группой 108 пользователей со второй версией SERP (например, количество времени, проведенное на странице данных поисковых результатов, количество времени, проведенное между последовательными сессиями на SERP, число щелчков на SERP, число отправленных запросов, число переформулировок запросов и так далее). В другом варианте осуществления настоящего технического решения оценка показателей пользовательских взаимодействий может включать в себя группировку информации, относящейся к пользовательским взаимодействиям. В некоторых вариантах осуществления настоящего технического решения сгруппированная информация, относящаяся к пользовательским взаимодействиям, может затем быть сохранена в хранилище 118.

[76] Кроме того, сервер 116 может быть выполнен с возможностью определять спрогнозированные значения параметра качества для каждого пользователя из первой и второй групп 102 и 108 пользователей. Сервер 116 может быть выполнен с возможностью определять спрогнозированные значения с помощью применения по меньшей мере одной модели прогнозирования к данным о поведении, собранным во время первого промежутка времени. В некоторых вариантах осуществления настоящего технического решения сервер 116 может, таким образом, быть выполнен с возможностью применять по меньшей мере одну модель прогнозирования к показателям пользовательских взаимодействий с первой и второй версиями SERP, оцененными во время первого промежутка времени, для определения спрогнозированных параметров пользовательских взаимодействий с первой и второй версиями SERP во второй промежуток времени. Более того, в некоторых вариантах осуществления настоящего технического решения по меньшей мере одна модель прогнозирования может быть моделью деревьев принятия решений, построенной с помощью метода градиентного спуска (англ. gradient boosting decision tree model), а в других вариантах осуществления настоящего технического решения - моделью линейной регрессии.

[77] В некоторых вариантах осуществления технического решения для определения спрогнозированных значений параметра качества за второй промежуток времени сервер 116 может быть выполнен с возможностью определять и отправлять по меньшей мере один признак, извлеченный из собранных данных о поведении, по меньшей мере одной модели прогнозирования. Таким образом, в некоторых вариантах осуществления настоящего технического решения сервер 116 может быть выполнен с возможностью применять по меньшей мере одну модель прогнозирования, получив по меньшей мере один признак, к оцененным показателям пользовательских взаимодействий с первой и второй версиями SERP, для определения спрогнозированных параметров пользовательских взаимодействий с первой и второй версиями SERP. «Признак», извлеченный из собранного набора данных о поведении, относится к определению или преобразованию собранных данных о поведении для получения определенных или преобразованных фрагментов данных, которые, при использовании их по меньшей мере одной моделью прогнозирования, дают возможность более точного прогнозирования будущего поведения за второй промежуток времени. Каждый фрагмент данных, таким образом полученных из собранных данных о поведении, может быть назван «признаком», как будет описано ниже.

[78] В некоторых вариантах осуществления настоящего технического решения по меньшей мере один признак может быть общим признаком. Для получения общего признака сервер 116 может быть выполнен с возможностью определять общее число оцененных показателей пользовательских взаимодействий за первый промежуток времени, причем эти пользовательские взаимодействия принадлежат к предварительно выбранному типу пользовательских взаимодействий. Например, если предварительно выбранный тип пользовательского взаимодействия является числом сессий, сервер 116 может определить общий признак с помощью добавления каждой сессии, оцененной в течение первого промежутка времени, для каждого пользователя из первой и второй группы пользователей, и получения общего количества сессий, оцененных в течение первого промежутка времени, для каждого пользователя из первой и второй групп пользователей.

[79] В некоторых вариантах осуществления настоящего технического решения по меньшей мере один признак может быть признаком временных рядов. Чтобы получить признак временных рядов, сервер 116 может быть выполнен с возможностью определять оцененные показатели пользовательских взаимодействий за каждый день в течение первого промежутка времени. Временные ряды могут быть определены так:

где - длительность наблюдаемого промежутка; t - шаг времени (то есть день и т.д.); - значение параметра качества (то есть показатель пользовательского взаимодействия) на t-й день (то есть число сессий во время t-го дня). Таким образом, в этом примере определяет временные ряды числа сессий в день. Осуществляя это определение, сервер 116 получает временные ряды с длительностью, равной числу дней в первом промежутке времени. Это определение сервером 116 может дать признаков.

[80] В некоторых вариантах осуществления настоящего технического решения по меньшей мере один признак может быть статистическим признаком. Чтобы получить статистический признак, сервер 116 может быть выполнен с возможностью получать минимальное, максимальное и среднее значения временных рядов, определенных сервером 116 как описано выше. Сервер 116 может также быть выполнен с возможностью определять среднеквадратическое отклонение и вариацию временных рядов. Определение сервером 116 минимального значения, максимального значения, среднего значения, среднеквадратического отклонения и вариации временных рядов дает пять статистических признаков.

[81] В некоторых вариантах осуществления настоящего технического решения по меньшей мере один признак может быть признаком периодичности. Для получения признака периодичности сервер 116 может быть выполнен с возможностью применения алгоритма дискретного преобразования Фурье (ДПФ) к временным рядам; это определяется как сумма за наблюдаемые дни значения x_t параметра качества на t-й день, определение происходит следующим образом:

где экспонента - квадратный корень из -1 (то есть мнимая единица), - определенная константа для каждого k. Это преобразование временных серий дает возможность получить комплексные амплитуды, действительные амплитуды и фазы, и может дать признаков. Признаки периодичности, таким образом полученные сервером 116, показывают периодичность временных рядов.

[82] В некоторых вариантах осуществления настоящего технического решения по меньшей мере один признак может быть производным признаком. Чтобы получить производный признак, сервер 116 может быть выполнен с возможностью определить конечно-разностные ряды первого и второго порядков временных рядов, которые являются аналогами первой и второй производных в дискретном случае. А именно, сервер 116 может быть выполнен с возможностью получать конечно-разностные ряды первого порядка следующим образом:

и конечно-разностные ряды второго порядка следующим образом:

Эти преобразования временных рядов сервером 116 могут дать признаков.

[83] Следует отметить, что приведенное выше описание общего признака, признака временных рядов, статистического признака, признака периодичности и производного признака не дает исчерпывающего списка признаков, которые могут быть извлечены изданных о поведении, собранных за первый промежуток времени. Описанные выше признаки иллюстрируют некоторые из признаков, которые могут быть извлечены из собранных данных о поведении и использованы в прогнозировании будущего поведения, и не должны рассматриваться как ограничение настоящего технического решения. Кроме того, в некоторых вариантах осуществления настоящего технического решения сервер 116 может быть выполнен с возможностью определять и отправлять более чем один признак, извлеченный из собранных данных о поведении, по меньшей мере одной модели прогнозирования для определения спрогнозированных значений параметра качества за второй промежуток времени. Таким образом, любая комбинация общего признака, признака временных рядов, статистического признака, признака периодичности, производного признака, а также любого другого признака, извлеченного из собранных данных о поведении, может быть получена и отправлена сервером 116 по меньшей мере одной модели прогнозирования.

[84] Например, количество признаков для отправки по меньшей мере одной модели прогнозирования может быть определено так. Сервер 116 может обозначить набор способов определения и преобразования, описанных выше, как , где Total означает способ определения общего признака, TS означает способ определения признака временных рядов, SF означает способ определения статистического признака, PF означает способ определения признака периодичности, a DF означает способ определения производного признака. Эти способы включают в себя различные варианты преобразования каждого показателя пользовательского взаимодействия М ∈ М в 5|Т_р|+3 скалярных признака. Следовательно, набор признаков, используемый в конкретной задаче прогнозирования определяется двумя компонентами: первый - это набор используемых показателей пользовательских взаимодействий М' ⊆ М, а второй - это набор способов определения/преобразования Т ⊆ All. Таким образом, число использованных скалярных признаков будет равно |М'|⋅|Т|. Например, если в задаче прогнозирования сервер 116 использует только число сессий S и время РТ присутствия (т.е., М'={S, РТ}, |М'|=2) и сервер 116 преобразует их в признаки посредством всех способов определений и преобразований за неделю (т.е., дней), то общее число скалярных признаков будет 2⋅(5⋅7+3)=76.

[85] Кроме того, сервер 116 может быть выполнен с возможностью определять тот факт, присутствует ли статистически значимая разница между спрогнозированными значениями параметров производительности для каждого пользователя из первой группы пользователей и спрогнозированными значениями параметров качества для каждого пользователя из второй группы пользователей. Таким образом, например, сервер 116 может быть выполнен с возможностью определять тот факт, присутствует ли статистически значимая разница между показателями пользовательского взаимодействия с первой и второй версиями SERP, спрогнозированными для второго промежутка времени. Статистически значимая разница в общем случае относится к результату, инициированному переменной, которая отличается от случайной вероятности.

[86] В некоторых вариантах осуществления способа сервер 116 также может быть выполнен с возможностью осуществлять: вычисление среднего значения спрогнозированных значений параметра качества для каждого пользователя из первой группы пользователей; вычисление среднего значения спрогнозированных значений параметра качества для каждого пользователя из второй группы пользователей; и определение того, существует ли статистически значимая разница между средним значением спрогнозированных значений параметра качества для каждого пользователя из первой группы пользователей и средним значением спрогнозированных значений параметра качества для каждого пользователя из второй группы пользователей. Таким образом, например, сервер 116 может быть выполнен с возможностью определять средние значения спрогнозированных показателей пользовательского взаимодействия всех пользователей первой группы 102 и второй группы 108 пользователей, соответственно, и определять, присутствует ли статистически значимая разница между этими средними значениями, определенными для каждого набора пользователей. Таким образом, это определение сервером 116 позволяет определить будет ли (и до какой степени) модификация сервиса до экспериментального варианта (например, вторая версия SERP) влиять на поведение пользователя по отношению к параметру качества за второй промежуток времени.

[87] В некоторых вариантах осуществления способа сервер 116 также может быть выполнен с возможностью осуществлять: получение действительного значения параметра качества для каждого пользователя из первой группы пользователей и для каждого пользователя из второй группы пользователей на основе данных о поведении, собранных за первый промежуток времени; комбинирование каждого действительного значения параметра качества для каждого пользователя из первой группы пользователей с соответствующим спрогнозированным значением параметра качества для каждого пользователя из первой группы пользователей с получением комбинированного значения параметра качества для каждого пользователя из первой группы пользователей; комбинирование каждого действительного значения параметра качества для каждого пользователя из второй группы пользователей с соответствующим спрогнозированным значением параметра качества для каждого пользователя из второй группы пользователей с получением комбинированного значения параметра качества для каждого пользователя из второй группы пользователей; определение среднего значения комбинированных значений параметра качества для каждого пользователя из первой группы пользователей; определение среднего значения комбинированных значений параметра качества для каждого пользователя из второй группы пользователей; и определение того, существует ли статистически значимая разница между средним значением комбинированных значений параметра качества для каждого пользователя из первой группы пользователей и средним значением комбинированных значений параметра качества для каждого пользователя из второй группы пользователей.

[88] Таким образом, например, сервер 116 может быть выполнен с возможностью извлекать показатели пользовательских взаимодействий с первой и второй версиями SERP, причем показатели были оценены во время первого промежутка времени, и комбинировать эти показатели с соответствующими показателями пользовательских взаимодействий, спрогнозированных на второй промежуток времени для каждого пользователя из первой и второй групп 102 и 108 пользователей. Сервер 116 может быть также выполнен с возможностью определять средние значения этих комбинированных показателей пользовательского взаимодействия для всех пользователей первой группы 102 и второй группы 108 пользователей, соответственно, и определять, присутствует ли статистически значимая разница между этими средними значениями, определенными для каждой группы пользователей. Таким образом, это определение сервером 116 позволяет определить, будет ли (и до какой степени) модификация до экспериментального варианта сервиса (например, вторая версия SERP) влиять на поведение пользователя по отношению к параметру качества (например, предварительно выбранному типу пользовательского взаимодействия) за комбинированный промежуток времени, включающий в себя первый промежуток времени и второй промежуток времени. Сервер 116 таким образом может оценивать параметр качества контролируемого эксперимента таким образом, будто эксперимент был проведен за весь комбинированный промежуток времени, включающий в себя первый промежуток времени и второй промежуток времени, а не только за первый промежуток времени.

[89] На Фигуре 2 представлена таблица 200, включающая в себя данные о поведении, связанном с веб-сервисом, а именно показатели пользовательских взаимодействий с первой версией SERP после того, как параметры пользовательских взаимодействий были оценены сервером 116 в течение первого промежутка времени. Показатели пользовательских взаимодействий с первой версией страницы результатов поиска (SERP) относятся к пользовательским взаимодействиям, которые принадлежат к предварительно выбранному типу пользовательского взаимодействия (т.е. параметру качества), осуществленному каждым пользователем в первой группе 102 пользователей (т.е. пользователь А, В и С, как изображено на Фигуре 2). Столбец 204 включает в себя показатели пользовательских взаимодействий (в данном случае предварительно определенный тип пользовательского взаимодействия является числом сессий), соответствующие каждому пользователю в первой группе 102 пользователей. Например, сервер 116 определил показатель количества сессий как 2 сессии для пользователя А.

[90] На Фигуре 2 также представлена таблица 202, включающая в себя показатели пользовательских взаимодействий с первой версией SERP после того, как показатели пользовательских взаимодействий были оценены сервером 116 в течение первого промежутка времени. Показатели пользовательских взаимодействий со второй версией страницы результатов поиска (SERP) относятся к пользовательским взаимодействиям, которые принадлежат к предварительно определенному типу пользовательского взаимодействия, осуществленному каждым пользователем во второй группе 108 пользователей (т.е. пользователь D, Е и F, как изображено на Фигуре 2). Столбец 204 включает в себя показатели пользовательских взаимодействий, соответствующих каждому пользователю во второй группе 108 пользователей. Например, сервер 116 определил показатель количества сессий как 4 сессии для пользователя D.

[91] Следует отметить, что число пользователей из первой и второй групп 102 и 108 пользователей, приведенное в пример на Фигуре 2, было указано исключительно с целью облегчения понимания, и оно не должно рассматриваться как ограничение настоящего технического решения. Кроме того, столбцы 204 и 206 могут включать в себя множество показателей, соответствующих каждому пользователю в первой и второй группах 102 и 108 пользователей. Например, если предварительно определенный тип пользовательского взаимодействия является временем задержки щелчка, столбцы 204 и 206 могут включать в себя множество показателей времени задержки щелчка для каждого пользователя в зависимости от того, сколько щелчков каждый пользователь сделал.

[92] В некоторых вариантах осуществления настоящего технического решения сервер 116 может быть выполнен с возможностью сохранять таблицу 200, включающую в себя показатели пользовательских взаимодействий с первой версией SERP, и таблицу 202, включающую в себя показатели пользовательских взаимодействий со второй версией SERP, после того, как эти показатели пользовательских взаимодействий были оценены сервером 116. Например, сервер 116 может сохранять таблицу 200 и таблицу 202 на носителе 118 информации. Кроме того, хотя таблица 200 и таблица 202 были изображены как отдельные таблицы, сервер 116 может хранить показатели пользовательских взаимодействий с первой версией SERP и со второй версией SERP в одной таблице (не изображена).

[93] На Фигуре 3 представлена таблица 300, включающая в себя спрогнозированные значения параметра качества, оцененного сервером 116, как на Фигуре 2, а именно показатели пользовательских взаимодействий с первой версией SERP в течение второго промежутка времени после того, как эти показатели были определены сервером 116 с помощью применения по меньшей мере одной модели прогнозирования к показателям пользовательских взаимодействий с первой версией SERP, оцененным во время первого промежутка времени (включены в таблицу 200 на Фиг. 2). Столбец 304 включает в себя спрогнозированные показатели пользовательских взаимодействий (т.е. число сессий), соответствующих каждому пользователю в первой группе 102 пользователей. Например, сервер 116 определил спрогнозированный показатель 1 сессия для пользователя А.

[94] На Фигуре 3 также представлена таблица 302, включающая в себя показатели пользовательских взаимодействий со второй версией SERP в течение второго промежутка времени после того, как эти показатели были определены сервером 116 с помощью применения по меньшей мере одной модели прогнозирования к показателям пользовательских взаимодействий со второй версией SERP, оцененным во время первого промежутка времени (включены в таблицу 202 на Фиг. 2). Столбец 306 включает в себя показатели пользовательских взаимодействий, соответствующих каждому пользователю во второй группе 108 пользователей. Например, сервер 116 определил спрогнозированный показатель 3 сессии для пользователя D.

[95] В некоторых вариантах осуществления настоящего технического решения сервер 116 может быть выполнен с возможностью сохранять таблицу 300, включающую в себя спрогнозированные показатели пользовательских взаимодействий с первой версией SERP, и таблицу 302, включающую в себя спрогнозированные показатели пользовательских взаимодействий со второй версией SERP, после того, как эти показатели пользовательских взаимодействий были оценены сервером 116. Например, сервер 116 может сохранять таблицу 300 и таблицу 302 на носителе 118 информации. Кроме того, хотя таблица 300 и таблица 302 были изображены как отдельные таблицы, сервер 116 может хранить спрогнозированные показатели пользовательских взаимодействий с первой версией SERP и со второй версией SERP в одной таблице (не изображена).

[96] На Фигуре 4 представлена хронологическая шкала 400, включающая в себя первый промежуток 402 времени (представленный непрерывной частью линии хронологической шкалы 400) и второй промежуток 404 времени (представленный пунктирной частью линии хронологической шкалы 400). Хронологическая шкала 400 показывает появление пользовательский сессий, которые оценивались сервером 116 как показатели пользовательских взаимодействий пользователей из первой группы 102 пользователей (пользователь А, как изображено на Фигуре 4) и пользователей из второй группы 108 пользователей (пользователь D, как изображено на Фигуре 400) в течение первого промежутка 402 времени.

[97] Более конкретно, пользовательские сессии 406 и 408 представляют две сессии пользователя А с первой версией SERP в течение первого промежутка времени, оцененные сервером 116, как показано в таблице 200 на Фиг. 2. Пользовательские сессии 410, 412, 414 и 416 представляют четыре сессии пользователя D со второй версией SERP в течение первого промежутка времени, оцененные сервером 116, как показано в таблице 202 на Фиг. 2. Таким образом, как можно видеть, оцененные сессии первой группы 102 пользователей и второй группы 108 пользователей являются показателями пользовательских взаимодействий, которые появляются в какой-то момент в течение первого промежутка времени. Следует отметить, что число пользователей из первой и второй групп 102 и 108 пользователей, показанное на хронологической шкале на Фигуре 4, было указано исключительно с целью облегчения понимания, и оно не должно рассматриваться как ограничение настоящего технического решения.

[98] На Фигуре 4 также представлено появление спрогнозированных пользовательских сессий первой группы 102 пользователей и второй группы 108 пользователей за второй промежуток 404 времени, причем эти сессии были определены сервером 116 с помощью применения по меньшей мере одной модели прогнозирования к показателям пользовательских взаимодействий, возникших в течение первого промежутка 402 времени и оцененных сервером 116. Более конкретно, пользовательская сессия 418 представляет одну спрогнозированную сессию пользователя А с первой версией SERP в течение второго промежутка времени, причем сессия определена сервером 116, как показано в таблице 302 на Фиг. 3. Пользовательские сессии 420, 422 и 424 представляют три сессии пользователя D со второй версией SERP в течение второго промежутка времени, причем сессии определены сервером 116, как показано в таблице 306 на Фиг. 3. Таким образом, как можно видеть, спрогнозированные сессии первой группы 102 пользователей и второй группы 108 пользователей являются показателями пользовательских взаимодействий, появление которых в какой-то момент в течение второго промежутка времени является спрогнозированным. Как можно видеть, второй промежуток 404 времени следует сразу за первым промежутком 402 времени. Однако в других вариантах осуществления настоящего технического решения второй промежуток времени может не следовать сразу за первым промежутком времени.

[99] В других вариантах осуществления настоящего технического решения сервер 116 выполнен с возможностью выполнять способ 500 проведения контролируемого эксперимента, как показано на Фиг. 5. Способ 500 описан далее.

ЭТАП 502: Сбор данных о поведении пользователей из первой группы и пользователей из второй группы за первый промежуток времени, где: первой группе пользователей представляют контрольный вариант сервиса; второй группе пользователей представляют экспериментальный вариант сервиса; и данные о поведении относятся к параметру качества контролируемого эксперимента.

[100] Способ 500 начинается на этапе 502, на котором сервер 116 собирает данные о поведении пользователей из первой группы 102 и пользователей из второй группы 108 за первый промежуток времени, где: первой группе 102 пользователей представляют контрольный вариант сервиса; второй группе 108 пользователей представляют экспериментальный вариант сервиса; и данные о поведении относятся к параметру качества контролируемого эксперимента.

[101] На этапе 502 первая группа пользователей может запросить доступ к сервису в сети, используя браузер 106 первого электронного устройства 104. В ответ на пользовательский запрос сервер 116 может создать контрольный вариант сервиса. Например, в некоторых вариантах осуществления настоящего технического решения сервис может быть поисковой системой и контрольный вариант сервиса может быть первой версией страницы результатов поиска (SERP). Таким образом, сервер 116 может создавать первую версию SERP и отправлять ее на первое электронное устройство 104. Первой группе пользователей 102 может затем быть представлена первая версия SERP на экране первого электронного устройства 104.

[102] Вторая группа 108 пользователей может запросить доступ к сервису в сети, используя браузер 112 второго электронного устройства 110. В ответ на пользовательский запрос сервер 116 может создать экспериментальный вариант сервиса. Например, в некоторых вариантах осуществления настоящего технического решения экспериментальный вариант может быть второй версией SERP. Таким образом сервер 116 может создавать вторую версию SERP и отправлять ее на второе электронное устройство 110. Второй группе пользователей 108 может затем быть представлена вторая версия SERP на экране второго электронного устройства 110.

[103] Экспериментальный вариант сервиса в общем случае отличается от контрольного варианта сервиса по меньшей мере в одном отношении. Например, в некоторых вариантах осуществления настоящего технического решения вторая версия SERP может отличаться от первой версии SERP. В некоторых вариантах осуществления настоящего технического решения вторая версия SERP может быть модифицированной версией SERP. Другими словами, вторая версия SERP может быть первой версией SERP, включающей в себя модификацию (т.е., модифицированной первой версией SERP). Например, модификации может подвергнуться пользовательский интерфейс SERP, или алгоритм ранжирования SERP, изменение во времени ответа поисковой системы для создания SERP, изменение в пользовательском интерфейсе на SERP и так далее, или комбинация перечисленного. В других вариантах осуществления технического решения могут быть возможны другие типы модификаций в зависимости от типа сервиса и других факторов.

[104] В общем случае каждый пользователь из первой группы 102 пользователей и второй группы 108 пользователей может «взаимодействовать» с сервисом на электронных устройствах 104 и 110 множеством способов. Таким образом, в некоторых вариантах осуществления настоящего технического решения данные о поведении, собранные сервером 116, могут быть показателями пользовательских взаимодействий с сервисом. Например, данные о поведении могут быть показателями пользовательских взаимодействий с первой и второй версиями SERP. Например, в некоторых вариантах осуществления настоящего технического решения типы пользовательского взаимодействия могут быть следующими: щелчки мышью (клики) на SERP, переходы на другие веб-страницы с SERP, отправка запросов, время, проведенное на SERP или на другой веб-странице, пользовательские сессии SERP и так далее.

[105] Кроме того, данные о поведении, собранные сервером 116, могут относиться к параметру качества контролируемого эксперимента. Параметр качества относится к критерию оценки, выбранному для оценки того, влияет ли (и до какой степени) разница между экспериментальным вариантом сервиса и контрольным вариантом сервиса на пользовательское поведение. В некоторых вариантах осуществления настоящего технического решения параметр качества может быть предварительно выбранным типом пользовательского взаимодействия с SERP. Таким образом, в некоторых вариантах осуществления настоящего технического решения сервер 116 может оценить показатели пользовательских взаимодействий в течение первого промежутка времени. Например, предварительно выбранный тип пользовательского взаимодействия может быть пользовательскими сессиями с SERP. Следовательно, сбор данных о поведении, относящихся к параметру качества, включает в себя оценку сервером 116 каждой пользовательской сессии с SERP.

[106] Данные о поведении, собранные на этапе 502 сервером 116, собраны за первый промежуток времени. В некоторых вариантах осуществления технического решения первый промежуток времени может соответствовать длительности контролируемого эксперимента. В других вариантах осуществления технического решения первый промежуток времени может соответствовать промежутку времени, меньшему, чем длительность контролируемого эксперимента. В некоторых вариантах осуществления настоящего технического решения, например, сервер 116 может собирать данные о поведении в течение первого промежутка времени с помощью оценки показателей пользовательских взаимодействий, которые являются пользовательскими взаимодействиями предварительно выбранного типа и осуществлены первой группой 102 пользователей и второй группой 108 пользователей за первый промежуток времени.

ЭТАП 504: На основе по меньшей мере одной модели прогнозирования, примененной к данным о поведении, определение спрогнозированных значений параметра качества для каждого пользователя из первой группы пользователей и каждого пользователя из второй группы пользователей за второй промежуток времени.

[107] Способ 500 продолжается на этапе 504, где сервер 116 на основе по меньшей мере одной модели прогнозирования, примененной к данным о поведении, определяет спрогнозированные значения параметра качества для каждого пользователя из первой группы пользователей и каждого пользователя из второй группы пользователей за второй промежуток времени. В некоторых вариантах осуществления технического решения по меньшей мере одна модель прогнозирования является либо моделью дерева принятия решений, построенной с помощью метода градиентного спуска (англ. gradient boosting decision tree model), либо моделью линейной регрессии.

[108] На этапе 504 сервер 116 применяет модель прогнозирования к данным о поведении, собранным за первый промежуток времени, для определения спрогнозированных значений параметра качества первой и второй групп 102 и 108 пользователей за второй промежуток времени. В некоторых вариантах осуществления настоящего технического решения, например, сервер 116 может применять модель прогнозирования к показателям пользовательских взаимодействий первой и второй групп 102 и 108 пользователей, оцененным сервером 116 в течение первого промежутка времени, для определения спрогнозированных показателей пользовательских взаимодействий первой и второй групп 102 и 108 пользователей за второй промежуток времени.

[109] В альтернативных вариантах осуществления настоящего технического решения сервер 116 может отправлять по меньшей мере один признак, извлеченный из данных о поведении за первый промежуток времени, по меньшей мере одной модели прогнозирования и выполнять прогнозирование будущего поведения за второй промежуток времени с помощью применения по меньшей мере одной модели прогнозирования по меньшей мере с одним признаком к собранным данным о поведении. По меньшей мере один признак может быть извлечен из данных о поведении сервером 116, при применении определения или преобразования данных о поведении. В некоторых вариантах осуществления сервера по меньшей мере один признак может быть одним из: общий признак, признак временных рядов, статистический признак, признак периодичности, производный признак. Например, сервер 116 может определять общий признак с помощью определения общего количества пользовательских сессий за первый промежуток времени. В некоторых вариантах осуществления настоящего технического решения более чем один признак может быть отправлен модели прогнозирования по меньшей мере одним сервером 116 для выполнения задачи прогнозирования.

ЭТАП 506: Определение того, существует ли статистически значимая разница между спрогнозированными значениями параметра качества для каждого пользователя из первой группы пользователей и спрогнозированными значениями параметра качества для каждого пользователя из второй группы пользователей.

[110] Способ 500 продолжается на этапе 506, на котором сервер 116 определяет тот факт, присутствует ли статистически значимая разница между спрогнозированными значениями параметров качества для каждого пользователя из первой группы 102 пользователей и спрогнозированными значениями параметров качества для каждого пользователя из второй группы 108 пользователей.

[111] На этапе 506 сервер 116 осуществляет сравнение спрогнозированных значений параметра качества первой группы 102 пользователей и спрогнозированных значений параметра качества второй группы 108 пользователей. В альтернативных вариантах осуществления настоящего технического решения сервер 116 может быть также выполнен с возможностью определять среднее значение спрогнозированных значений параметра качества первой группы 102 пользователей и определять среднее значение спрогнозированных значений параметра качества для каждого пользователя второй группы 108 пользователей. Сервер 116 может затем осуществлять сравнение, для определения того, существует ли статистически значимая разница между этими средними значениями, определенными для каждого набора пользователей. Таким образом, в некоторых вариантах осуществления настоящего технического решения это определение позволяет определить будет ли (и до какой степени) модификация до экспериментального варианта сервиса (например, вторая версия SERP) влиять на поведение пользователя по отношению к параметру качества (например, предварительно выбранному типу пользовательского взаимодействия) за второй промежуток времени.

[112] В других вариантах осуществления настоящего технического решения сервер 116 может быть также выполнен с возможностью получать действительные значения параметра качества для каждого пользователя из первой и второй групп 102 и 108 пользователей. Сервер 116 может также быть выполнен с возможностью комбинировать каждое действительное значение параметра качества для каждого пользователя из первой и второй групп 102 и 108 пользователей с соответствующим спрогнозированным значением параметра качества для каждого пользователя из первой и второй групп 102 и 108 пользователей с получением комбинированного значения параметра качества для каждого пользователя из первой и второй групп 102 и 108 пользователей. Сервер 116 может быть также выполнен с возможностью определять среднее значение комбинированных значений для первой группы 102 пользователей и определять среднее значение комбинированных значений параметра для второй группы 108 пользователей. Кроме того, сервер 116 может также быть выполнен с возможностью определять, существует ли статистически значимая разница между этими средними значениями, определенными для каждой группы пользователей.

[113] Например, в некоторых вариантах осуществления настоящего технического решения сервер 116 может быть выполнен с возможностью извлекать показатели пользовательских взаимодействий, которые при этом являются взаимодействиями предварительно выбранного типа, оцененными сервером 116 за первый промежуток времени, и размещенными в таблицах, как показано на Фиг. 2, причем эти таблицы хранятся в хранилище 118. Сервер 116 может быть выполнен с возможностью извлекать спрогнозированные показатели пользовательских взаимодействий, которые при этом являются взаимодействиями предварительно выбранного типа, определенными сервером 116 и размещенными в таблицах, как показано на Фиг. 3, причем эти таблицы хранятся в хранилище 118. Сервер 116 может также быть выполнен с возможностью комбинировать оцененные показатели со спрогнозированными показателями для каждого пользователя первой и второй групп 102 и 108 пользователей и определять средние значения этих комбинированных показателей для первой и второй групп 102 и 108 пользователей соответственно. Сервер 116 может затем сравнивать эти средние значения, определенные для каждой группы пользователей, для определения того, существует ли статистически значимая разница между ними. Таким образом, это определение позволяет определить будет ли (и до какой степени) модификация до экспериментального варианта сервиса (например, вторая версия SERP) влиять на поведение пользователя по отношению к параметру качества (например, предварительно выбранному типу пользовательского взаимодействия) за комбинированный промежуток времени, включающий в себя первый промежуток времени и второй промежуток времени.

[114] Некоторые варианты осуществления настоящего технического решения позволяют серверу 116 проводить контролируемый(е) эксперимент(ы), который(е) занимают меньше времени, чем при общеизвестных подходах, что дает возможность экономить вычислительные ресурсы сервера. Некоторые варианты осуществления настоящего технического решения также дают возможность серверу 116 осуществлять контролируемый(е) эксперимент(ы) более короткой длительности (при этом не за счет его(их) точности), и, следовательно, дают возможность быстрее отлаживать изменения сервисов (например, изменения SERP и так далее), таким образом позволяя оптимизировать изменения и, следовательно, увеличить удовлетворенность пользователей сервисами.

[115] Важно иметь в виду, что варианты осуществления настоящего технического решения могут быть реализованы с проявлением и других технических результатов.

[116] Специалисты в данной области техники поймут, что в настоящем описании выражение «получение данных» от пользователя подразумевает получение электронным устройством данных от пользователя в виде электронного (или другого) сигнала. Кроме того, специалисты в данной области техники поймут, что отображение данных пользователю через графический интерфейс пользователя (например, экран компьютерного устройства и тому подобное) может включать в себя передачу сигнала графическому интерфейсу пользователя, этот сигнал включает в себя данные, которые могут быть обработаны, и по меньшей мере часть этих данных может отображаться пользователю через графический интерфейс пользователя.

[117] Некоторые из этих этапов, а также передача-получение сигнала хорошо известны в данной области техники и поэтому для упрощения были опущены в конкретных частях данного описания. Сигналы могут быть переданы-получены с помощью оптических средств (например, оптоволоконного соединения), электронных средств (например, проводного или беспроводного соединения) и механических средств (например, на основе давления, температуры или другого подходящего параметра).

[118] Модификации и улучшения вышеописанных вариантов осуществления настоящего технического решения будут ясны специалистам в данной области техники. Предшествующее описание представлено только в качестве примера и не несет никаких ограничений. Таким образом, объем настоящего технического решения ограничен только объемом прилагаемой формулы изобретения.

[119] Исходя из вышеизложенного, варианты осуществления настоящего технического решения, описанные выше, можно изложить следующим образом, структурированно, пронумерованными пунктами.

[120] ПУНКТ 1. Способ проведения контролируемого эксперимента с использованием предсказания будущего пользовательского поведения, способ выполняется по меньшей мере на одном сервере, способ включает в себя:

сбор (502) данных о поведении пользователей из первой группы (102) пользователей и пользователей из второй группы (108) пользователей за первый промежуток времени, где:

первой группе (102) пользователей представляют контрольный вариант сервиса;

второй группе (108) пользователей представляют экспериментальный вариант сервиса; и

данные о поведении относятся к параметру качества контролируемого эксперимента;

на основе по меньшей мере одной модели прогнозирования, примененной к данным о поведении, определение (504) спрогнозированных значений параметра качества для каждого пользователя из первой группы (102) пользователей и каждого пользователя из второй группы (108) пользователей за второй промежуток времени; и

определение (506) того, существует ли статистически значимая разница между спрогнозированными значениями параметра качества для каждого пользователя из первой группы (102) пользователей и спрогнозированными значениями параметра качества для каждого пользователя из второй группы (108) пользователей.

[121] ПУНКТ 2. Способ по п. 1, дополнительно включающий в себя:

определение среднего значения спрогнозированных значений параметра качества для каждого пользователя из первой группы (102) пользователей;

определение среднего значения спрогнозированных значений параметра качества для каждого пользователя из второй группы (108) пользователей; определение того, существует ли статистически значимая разница между средним значением спрогнозированных значений параметра качества для каждого пользователя из первой группы (102) пользователей и средним значением спрогнозированных значений параметра качества для каждого пользователя из второй группы (108) пользователей.

[122] ПУНКТ 3. Способ по п. 1, дополнительно включающий в себя:

получение действительного значения параметра качества для каждого пользователя из первой группы (102) пользователей и для каждого пользователя из второй группы (108) пользователей на основе данных о поведении, собранных за первый промежуток времени;

комбинирование каждого действительного значения параметра качества для каждого пользователя из первой группы (102) пользователей с соответствующим спрогнозированным значением параметра качества для каждого пользователя из первой группы (102) пользователей с получением комбинированного значения параметра качества для каждого пользователя из первой группы (102) пользователей;

комбинирование каждого действительного значения параметра качества для каждого пользователя из второй группы (108) пользователей с соответствующим спрогнозированным значением параметра качества для каждого пользователя из второй группы (108) пользователей с получением комбинированного значения параметра качества для каждого пользователя из второй группы (108) пользователей;

определение среднего значения комбинированных значений параметра качества для каждого пользователя из первой группы (102) пользователей;

определение среднего значения комбинированных значений параметра качества для каждого пользователя из второй группы (108) пользователей; и

определение того, существует ли статистически значимая разница между средним значением комбинированных значений параметра качества для каждого пользователя из первой группы (102) пользователей и средним значением комбинированных значений параметра качества для каждого пользователя из второй группы (108) пользователей.

[123] ПУНКТ 4. Способ по п. 1, в котором сервис является онлайн-сервисом.

[124] ПУНКТ 5. Способ по п. 4, в котором контролируемый эксперимент оценивает изменение в исполнении онлайн-сервиса.

[125] ПУНКТ 6. Способ по п. 5, в котором онлайн-сервис является поисковой системой.

[126] ПУНКТ 7. Способ по п. 6, в котором изменение в исполнении онлайн-сервиса является по меньшей мере одним из: изменением в алгоритме ранжирования поисковой системы, изменением во времени ответа поисковой системы или изменением в пользовательском интерфейсе поисковой системы.

[127] ПУНКТ 8. Способ по п. 6, в котором данные о поведении включают в себя параметры пользовательских взаимодействий с поисковой системой.

[128] ПУНКТ 9. Способ по п. 8, в котором параметр качества включает в себя предварительно выбранный тип пользовательского взаимодействия с поисковой системой.

[129] ПУНКТ 10. Способ по п. 9, в котором предварительно выбранный тип пользовательского взаимодействия включает в себя по меньшей мере одно из: число сессий в расчете на каждого пользователя; число запросов в расчете на каждого пользователя; число щелчков в расчете на каждого пользователя; время присутствия пользователя; число щелчков в расчете на запрос пользователя; время отсутствия в расчете на сессию пользователя.

[130] ПУНКТ 11. Способ по п. 1, в котором первый промежуток времени соответствует длительности контролируемого эксперимента.

[131] ПУНКТ 12. Способ по п. 1, в котором первый промежуток времени соответствует промежутку времени, меньшему, чем длительность контролируемого эксперимента.

[132] ПУНКТ 13. Способ по п. 12, в котором контролируемый эксперимент завершается раньше окончания длительности контролируемого эксперимента.

[133] ПУНКТ 14. Способ по п. 1, в котором модель прогнозирования является либо моделью дерева принятия решений, построенной с помощью метода градиентного спуска (англ. gradient boosting decision tree model), либо моделью линейной регрессии.

[134] ПУНКТ 15. Способ по п. 1, в котором получен по меньшей мере один признак, извлеченный из данных о поведении, и обработан моделью прогнозирования для выполнения определения (504) спрогнозированных значений параметра качества.

[135] ПУНКТ 16. Способ по п. 15, в котором по меньшей мере один признак, извлеченный из данных о поведении, является одним из: общий признак, признак временных рядов, статистический признак, признак периодичности, производный признак.

[136] ПУНКТ 17. Сервер (116), включающий в себя процессор и машиночитаемые инструкции для проведения контролируемого эксперимента с использованием прогнозирования будущего пользовательского поведения, процессор выполнен с возможностью выполнять способ по пп. 1-15.

1. Способ проведения контролируемого эксперимента с использованием предсказания будущего пользовательского поведения, способ выполняется по меньшей мере на одном сервере, способ включает в себя:

сбор данных о поведении пользователей из первой группы пользователей, которым представляют контрольный вариант сервиса, и пользователей из второй группы пользователей, которым представляют экспериментальный вариант сервиса, за первый промежуток времени;

на основе по меньшей мере одной модели прогнозирования, примененной к собранным данным о поведении, определение спрогнозированных значений параметра качества для каждого пользователя из первой группы пользователей и каждого пользователя из второй группы пользователей за второй промежуток времени; и

определение того, существует ли статистически значимая разница между спрогнозированными значениями параметра качества для каждого пользователя из первой группы пользователей и спрогнозированными значениями параметра качества для каждого пользователя из второй группы пользователей.

2. Способ по п. 1, в котором дополнительно выполняют:

определение среднего значения спрогнозированных значений параметра качества для каждого пользователя из первой группы пользователей;

определение среднего значения спрогнозированных значений параметра качества для каждого пользователя из второй группы пользователей;

определение того, существует ли статистически значимая разница между средним значением спрогнозированных значений параметра качества для каждого пользователя из первой группы пользователей и средним значением спрогнозированных значений параметра качества для каждого пользователя из второй группы пользователей.

3. Способ по п. 1, в котором дополнительно выполняют:

получение действительного значения параметра качества для каждого пользователя из первой группы пользователей и для каждого пользователя из второй группы пользователей на основе данных о поведении, собранных за первый промежуток времени;

комбинирование каждого действительного значения параметра качества для каждого пользователя из первой группы пользователей с соответствующим спрогнозированным значением параметра качества для каждого пользователя из первой группы пользователей с получением комбинированного значения параметра качества для каждого пользователя из первой группы пользователей;

комбинирование каждого действительного значения параметра качества для каждого пользователя из второй группы пользователей с соответствующим спрогнозированным значением параметра качества для каждого пользователя из второй группы пользователей с получением комбинированного значения параметра качества для каждого пользователя из второй группы пользователей;

определение среднего значения комбинированных значений параметра качества для каждого пользователя из первой группы пользователей;

определение среднего значения комбинированных значений параметра качества для каждого пользователя из второй группы пользователей;

определение того, существует ли статистически значимая разница между средним значением комбинированных значений параметра качества для каждого пользователя из первой группы пользователей и средним значением комбинированных значений параметра качества для каждого пользователя из второй группы пользователей.

4. Способ по п. 1, в котором сервис является онлайн-сервисом.

5. Способ по п. 4, в котором контролируемый эксперимент оценивает изменение в исполнении онлайн-сервиса.

6. Способ по п. 5, в котором онлайн-сервис является поисковой системой.

7. Способ по п. 6, в котором изменение в исполнении онлайн-сервиса является по меньшей мере одним из: изменением в алгоритме ранжирования поисковой системы, изменением во времени ответа поисковой системы или изменением в пользовательском интерфейсе поисковой системы.

8. Способ по п. 6, в котором данные о поведении включают в себя параметры пользовательских взаимодействий с поисковой системой.

9. Способ по п. 8, в котором параметр качества включает в себя предварительно выбранный тип пользовательского взаимодействия с поисковой системой.

10. Способ по п. 9, в котором предварительно выбранный тип пользовательского взаимодействия включает в себя по меньшей мере одно из: число сессий в расчете на каждого пользователя; число запросов в расчете на каждого пользователя; число щелчков в расчете на каждого пользователя; время присутствия пользователя; число щелчков в расчете на запрос пользователя; время отсутствия в расчете на сессию пользователя.

11. Способ по п. 1, в котором первый промежуток времени соответствует длительности контролируемого эксперимента.

12. Способ по п. 1, в котором первый промежуток времени соответствует промежутку времени, меньшему, чем длительность контролируемого эксперимента.

13. Способ по п. 12, в котором контролируемый эксперимент завершают раньше окончания длительности контролируемого эксперимента.

14. Способ по п. 1, в котором модель прогнозирования является либо моделью дерева принятия решений, построенной с помощью метода градиентного спуска, либо моделью линейной регрессии.

15. Способ по п. 1, в котором получают по меньшей мере один признак, извлеченный из данных о поведении, и обрабатывают моделью прогнозирования для выполнения определения спрогнозированных значений параметра качества.

16. Способ по п. 15, в котором по меньшей мере один признак, извлеченный из данных о поведении, является одним из: общий признак, признак временных рядов, статистический признак, признак периодичности, производный признак.

17. Сервер проведения контролируемого эксперимента с использованием предсказания будущего пользовательского поведения, включающий в себя процессор и машиночитаемые инструкции для проведения контролируемого эксперимента с использованием прогнозирования будущего пользовательского поведения, процессор выполнен с возможностью осуществлять:

сбор данных о поведении пользователей из первой группы пользователей, которым представляют контрольный вариант сервиса, и пользователей из второй группы пользователей, которым представляют экспериментальный вариант сервиса, за первый промежуток времени;

на основе по меньшей мере одной модели прогнозирования, примененной к собранным данным о поведении, определение спрогнозированных значений параметра качества для каждого пользователя из первой группы пользователей и каждого пользователя из второй группы пользователей за второй промежуток времени; и

определение того, существует ли статистически значимая разница между спрогнозированными значениями параметра качества для каждого пользователя из первой группы пользователей и спрогнозированными значениями параметра качества для каждого пользователя из второй группы пользователей.

18. Сервер по п. 17, выполненный с дополнительной возможностью осуществлять:

определение среднего значения спрогнозированных значений параметра качества для каждого пользователя из первой группы пользователей;

определение среднего значения спрогнозированных значений параметра качества для каждого пользователя из второй группы пользователей;

определение того, существует ли статистически значимая разница между средним значением спрогнозированных значений параметра качества для каждого пользователя из первой группы пользователей и средним значением спрогнозированных значений параметра качества для каждого пользователя из второй группы пользователей.

19. Сервер по п. 17, выполненный с дополнительной возможностью осуществлять:

получение действительного значения параметра качества для каждого пользователя из первой группы пользователей и для каждого пользователя из второй группы пользователей на основе данных о поведении, собранных за первый промежуток времени;

комбинирование каждого действительного значения параметра качества для каждого пользователя из первой группы пользователей с соответствующим спрогнозированным значением параметра качества для каждого пользователя из первой группы пользователей с получением комбинированного значения параметра качества для каждого пользователя из первой группы пользователей;

комбинирование каждого действительного значения параметра качества для каждого пользователя из второй группы пользователей с соответствующим спрогнозированным значением параметра качества для каждого пользователя из второй группы пользователей с получением комбинированного значения параметра качества для каждого пользователя из второй группы пользователей;

определение среднего значения комбинированных значений параметра качества для каждого пользователя из первой группы пользователей;

определение среднего значения комбинированных значений параметра качества для каждого пользователя из второй группы пользователей;

определение того, существует ли статистически значимая разница между средним значением комбинированных значений параметра качества для каждого пользователя из первой группы пользователей и средним значением комбинированных значений параметра качества для каждого пользователя из второй группы пользователей.

20. Сервер по п. 17, в котором сервис является онлайн-сервисом.

21. Сервер по п. 20, в котором контролируемый эксперимент оценивает изменение в исполнении онлайн-сервиса.

22. Сервер по п. 21, в котором онлайн-сервис является поисковой системой.

23. Сервер по п. 22, в котором изменение в исполнении онлайн-сервиса является по меньшей мере одним из: изменением в алгоритме ранжирования поисковой системы, изменением во времени ответа поисковой системы или изменением в пользовательском интерфейсе поисковой системы.

24. Сервер по п. 22, в котором данные о поведении включают в себя параметры пользовательских взаимодействий с поисковой системой.

25. Сервер по п. 24, в котором параметр качества включает в себя предварительно выбранный тип пользовательского взаимодействия с поисковой системой.

26. Сервер по п. 25, в котором предварительно выбранный тип пользовательского взаимодействия включает в себя по меньшей мере одно из: число сессий в расчете на каждого пользователя; число запросов в расчете на каждого пользователя; число щелчков в расчете на каждого пользователя; время присутствия пользователя; число щелчков в расчете на запрос пользователя; время отсутствия в расчете на сессию пользователя.

27. Сервер по п. 17, в котором первый промежуток времени соответствует длительности контролируемого эксперимента.

28. Сервер по п. 17, в котором первый промежуток времени соответствует промежутку времени, меньшему, чем длительность контролируемого эксперимента.

29. Сервер по п. 28, в котором процессор выполнен с возможностью завершать контролируемый эксперимент раньше окончания длительности контролируемого эксперимента.

30. Сервер по п. 29, в котором модель прогнозирования является либо моделью дерева принятия решений, построенной с помощью метода градиентного спуска, либо моделью линейной регрессии.

31. Сервер по п. 17, в котором процессор выполнен с возможностью получать по меньшей мере один признак, извлеченный из данных о поведении, и обрабатывать моделью прогнозирования для выполнения определения спрогнозированных значений параметра качества.

32. Сервер по п. 31, в котором процессор выполнен с возможностью извлекать по меньшей мере один признак из данных о поведении, являющийся одним из: общий признак, признак временных рядов, статистический признак, признак периодичности, производный признак.