Способ и система для выявления аномального рейтингования

Изобретение относится к области обработки данных. Технический результат заключается в повышении надёжности работы поисковой системы за счёт повышения достоверности результатов, выдаваемых поисковой системой. Такой результат достигается тем, что получают на сервере от одного или более клиентских устройств, связанных с одним или более пользователями, через сеть связи данные рейтингования организаций, содержащих множество организаций и один или несколько рейтингов для каждой организации, формируют на сервере граф рейтингования организаций, в котором каждый узел соответствует организации из множества организаций, а каждое ребро соединяет две организации и имеет вес, указывающий на количество пользователей, оценивших две организации, соединенные соответствующим ребром, определяют на сервере в графе полный подграф, в котором каждый узел соединен со всеми остальными узлами подграфа, определяют на сервере соответствие пороговому распределению рейтингов, соответствующих подграфу и в случае определения соответствия пороговому распределению рейтингов, соответствующих подграфу, сохраняют на сервере индикатор связи пользователей, соответствующих подграфу, с аномальными рейтингами организаций. 3 н. и 17 з.п. ф-лы, 9 ил.

 

Область техники, к которой относится изобретение

[1] Настоящая технология в целом относится к выявлению аномального рейтингования и, в частности, к способу и системе для выявления пользователей, отправляющих аномальные рейтинги организаций.

Уровень техники

[2] Объем информации, доступной на различных Интернет-ресурсах, в течение последних десятилетий растет экспоненциально. Для помощи типичному пользователю в поиске необходимой информации было разработано несколько решений. Одним из примеров таких решений является поисковая система. В качестве примера можно привести поисковые системы GOOGLE™, YANDEX™, YAHOO! и т.п. Пользователь может получать доступ к интерфейсу поисковой системы и отправлять поисковый запрос, связанный с информацией, которую требуется найти в сети Интернет. В ответ на поисковый запрос поисковая система выдает ранжированный список результатов поиска.

[3] Ранжированный список результатов поиска формируется на основе различных алгоритмов ранжирования, используемых конкретной поисковой системой, применяемой пользователем для поиска. Общая цель таких алгоритмов ранжирования заключается в представлении наиболее релевантных результатов поиска в верхней части ранжированного списка, тогда как менее релевантные результаты поиска могут располагаться в ранжированном списке на менее заметных позициях (наименее релевантные результаты поиска находятся в нижней части ранжированного списка). Пользователю может быть предоставлена дополнительная информация, касающаяся ранжированного списка результатов поиска. Для каждой организации из ранжированного списка может быть указан рейтинг организации. Рейтинг организации может быть рассчитан на основе отправленных пользователями рейтингов организации, относящейся к результатам поиска.

[4] Поисковые системы обычно обеспечивают хороший инструментарий для обработки поискового запроса, когда пользователь заранее знает, что требуется найти. Иными словами, если пользователь заинтересован в получении информации о наиболее популярных местах в Италии (т.е. известна тема поиска), он может отправить поисковый запрос: «Наиболее популярные места в Италии?». В ответ поисковая система выдает ранжированный список Интернет-ресурсов, потенциально релевантных поисковому запросу. Пользователь может просмотреть ранжированный список результатов поиска, чтобы получить требуемую информацию, касающуюся мест для посещения в Италии. Если пользователь по какой-либо причине не удовлетворен полученными результатами поиска, он может выполнить повторный поиск, например, с уточненным поисковым запросом, таким как «Наиболее популярные места в Италии летом?», «Наиболее популярные места на юге Италии?», «Наиболее популярные места для романтического отпуска в Италии?».

[5] Когда пользователь отправляет поисковый запрос, поисковая система формирует список релевантных веб-ресурсов (на основе анализа просмотренных обходчиком веб-ресурсов, указания на которые хранятся в базе данных обходчика в виде списков вхождений (posting lists) и т.п.). Затем поисковая система ранжирует сформированный список результатов поиска. Формирование списка и/или ранжирование результатов поиска может выполняться с использованием различных средств, например, путем выполнения алгоритма машинного обучения (MLA, Machine Learning Algorithm). Алгоритм MLA ранжирует список результатов поиска на основе их релевантности поисковому запросу. Алгоритм MLA «обучается» прогнозировать релевантность результата поиска поисковому запросу на основе большого количества «признаков», связанных с результатом поиска, и указаний на прошлые действия пользователей с результатами поиска при отправке подобных поисковых запросов в прошлом.

[6] При ранжировании списка результатов поиска учитываются различные факторы, такие как ранее зафиксированная история веб-поиска и/или рейтинги организаций, связанных с результатами поиска. Как описано выше, результаты поиска могут включать в себя организации, каждая из которых может быть связана с соответствующим рейтингом организации. Рейтинги для организаций могут предоставляться пользователями, например, путем отправки рейтинга в числовом диапазоне (в частности, от одного до десяти) или бинарного рейтинга (положительного или отрицательного). Эти индивидуальные рейтинги организации могут усредняться или использоваться иным образом для расчета общего рейтинга организации. Индивидуальные и/или общие рейтинги организаций могут быть использованы при определении позиции организации в списке результатов поиска. Общий рейтинг организации может отображаться, например, в результатах поиска. Обычно пользователи при просмотре результатов поиска с большей вероятностью выбирают организации с более высоким рейтингом организации.

[7] Специалистам по продвижению веб-сайтов известно, что рейтинги организаций могут повышать посещаемость страницы и могут влиять на ранжирование результатов поиска. Некоторые недобросовестные акторы пытаются повысить общий рейтинг организации, инструктируя пользователям отправлять для данной организации указанный им рейтинг организации. Например, пользователям может быть дана инструкция отправлять высокий рейтинг организации для рекламируемой недобросовестным актором организации и низкий рейтинг организации для конкурирующей организации. Недобросовестные акторы могут платить пользователям за отправку этих рейтингов организаций, которые далее называются аномальными рейтингами организаций. Анормальные рейтинги организаций могут приводить к отображению для таких организаций более высоких общих рейтингов организаций и/или к получению более высокой позиции в ответе на запрос.Когда пользователям демонстрируются общие рейтинги организаций, рассчитанные с учетом аномальных рейтингов организаций, удовлетворение пользователя поисковой системой снижается, поскольку общий рейтинг организации не отражает действительного мнения пользователей об организации.

[8] В патенте US10009358 (DataVisor Inc., выдан 26 июня 2018 г.) описаны способы, системы и устройства для обнаружения злонамеренных действий, включая компьютерные программы, содержащиеся на компьютерных носителях информации. Один из способов включает в себя: формирование набора гиперграфов, представляющих пользовательские события для набора пользователей; анализ набора гиперграфов с целью определения группы вредоносных учетных записей пользователей или действий, относящихся к таким учетным записям, соответствующих порогу достоверности; использование группы вредоносных учетных записей пользователей или действий, относящихся к таким учетным записям, в качестве обучающих данных для системы машинного обучения, формирующей один или несколько классификаторов; использование одного или нескольких сформированных классификаторов для выявления дополнительных вредоносных учетных записей пользователей или действий, относящихся к таким учетным записям.

[9] В патенте US9183387 (Google Inc., выдан 10 ноября 2015 г.) описано обнаружение интернет-атак, включая определение в социальном графе одного или нескольких событий, связанных с пользователями. Для каждого вида события из числа одного или нескольких событий формируется по меньшей мере один ориентированный ациклический граф (DAG, Directed Acyclic Graph), в котором каждый узел представляет собой узел в социальном графе, где произошло событие данного вида, а каждое ребро представляет собой распространение события из первого узла этого ребра во второй узел этого ребра.

[10] В работе «Positive Unlabeled Learning for Deceptive Reviews Detection» (опубликована в трудах конференции Conference on Empirical Methods in Natural Language Processing (EMNLP) 2014) описано обнаружение вводящих в заблуждение отзывов путем моделирования алгоритма обучения на основе положительных неразмеченных (PU, Positive Unlabeled) данных. Предложена модель с частичным привлечением учителя «обучение PU со смешанными популяционными и индивидуальными свойствами» (MPIPUL, Mixing Population and Individual Property PU Learning). В ней, во-первых, определяются некоторые надежные отрицательные примеры из неразмеченного набора данных. Во-вторых, на основе латентного размещения Дирихле (LDA, Latent Dirichlet Allocation) формируются некоторые репрезентативные положительные примеры и отрицательные примеры. В-третьих, для оставшихся неразмеченных примеров (называемых spy-примерами), которые не могут быть однозначно определены как положительные и отрицательные, назначаются два весовых коэффициента сходства, с использованием которых отображается вероятность того, что spy-пример относится к положительному классу и к отрицательному классу. Наконец, spy-примеры и их весовые коэффициенты сходства используются в алгоритме на основе метода опорных векторов (SVM, Support Vector Machine) для построения точного классификатора.

Раскрытие изобретения

[11] Разработчики настоящей технологии обнаружили по меньшей мере одну техническую проблему, связанную с известными решениями.

[12] Настоящая технология в целом относится к определению аномальных действий в сети Интернет и, в частности, к способам и системам для выявления пользователей, отправляющих аномальные рейтинги организаций. Как описано выше, различные недобросовестные акторы могут пытаться влиять на рейтинги организаций. Например, пользователю может быть дана инструкция отправлять для организации указанный ему рейтинг.Для определения аномального поведения при отправке рейтинга организации разработаны различные способы.

[13] Операторам поисковых систем компаниям, рекомендующим организации, таким как Google™, Yandex™, Bing™, Yahoo™, Yelp(и т.д., доступно большое количество данных о рейтингах организаций. Эти данные о рейтингах организаций могут быть использованы для определения аномальных рейтингов организаций.

[14] При отправке пользователями аномальных рейтингов организаций, например, когда им предписывается отправлять рейтинг организации, эти пользователи обычно отправляют или очень высокие, или очень низкие рейтинги для организаций. Кроме того, пользователи, отправляющие аномальные рейтинги организации, обычно оценивают несколько организаций. Пользователи, отправляющие естественно возникающие рейтинги или, иными словами, рейтинги, основанные на их собственных впечатлениях и не подверженные постороннему влиянию, обычно отправляют рейтинги организаций с более равномерным распределением в пределах диапазона рейтингов. С использованием этих отличий можно различать аномальные рейтинги организаций и естественные рейтинги организаций.

[15] Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, можно собирать данные о действиях, связанных с рейтингованием организаций, содержащие отправленные пользователями рейтинги организаций. Рейтинги могут быть бинарными, такими как положительный или отрицательный рейтинг, и/или шкальными, такими как рейтинги из диапазона от одного (отрицательный рейтинг) до десяти (положительный рейтинг). Каждый рейтинг, отправленный пользователем во время рейтингования организаций, может содержать идентификатор пользователя, отправившего этот рейтинг.

[16] Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, можно формировать граф рейтингования организаций. Каждый пользователь, участвующий в рейтинговании организаций, может представляться на графе в виде узла. Каждая организация, оцененная при рейтинговании организаций, также может представляться на графе в виде узла. Для каждого рейтинга из данных рейтингования организаций на графе может быть предусмотрено ребро, соединяющее пользователя, отправившего рейтинг, и оцениваемую организацию.

[17] Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, можно формировать другой граф рейтингования организаций. В этом втором графе организации из данных рейтингования организаций могут представляться узлами. Ребра могут соединять организации, оцененные по меньшей мере одним общим пользователем. Ребра могут быть взвешенными. Вес ребра может указывать на количество пользователей, отправивших рейтинг организации для первой организации и для второй организации, соединенных этим ребром.

[18] Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, в графе можно определять полные подграфы. В полном подграфе каждая организация (т.е. узел) может быть соединена ребром с каждой другой организацией. Затем из такого подграфа можно получать рейтинги для организаций. Рейтинги могут фильтроваться с целью удаления рейтингов от пользователей, оценивших меньше порогового количества организаций из этого подграфа. Затем может определяться распределение рейтингов. Организации, получившие аномальные рейтинги организаций, могут иметь относительно большое количество крайне положительных или крайне отрицательных рейтингов. Если распределение соответствует пороговому распределению, рейтинги для этих организаций могут считаться аномальными рейтингами организаций. Для каждого пользователя, сформировавшего аномальные рейтинги организаций, может быть сохранен соответствующий индикатор. Аномальные рейтинги организаций могут быть удалены из сохраненных данных рейтингования организаций.

[19] В соответствии с первым аспектом настоящей технологии реализован способ выявления пользователей, формирующих аномальные рейтинги организаций. Способ выполняется сервером и включает в себя: получение данных рейтингования организаций, содержащих множество организаций и один или несколько рейтингов для каждой организации; формирование графа рейтингования организаций, в котором каждый узел соответствует организации из множества организаций, а каждое ребро соединяет две организации и имеет вес, указывающий на количество пользователей, оценивших две организации, соединенные соответствующим ребром; определение в графе полного подграфа, в котором каждый узел соединен со всеми остальными узлами подграфа; определение соответствия пороговому распределению рейтингов, соответствующих подграфу; и в случае определения соответствия пороговому распределению рейтингов, соответствующих подграфу, сохранение индикатора связи пользователей, соответствующих подграфу, с аномальными рейтингами организаций.

[20] В некоторых вариантах осуществления способа он дополнительно включает в себя удаление из графа ребер с весом, меньшим заранее заданного порогового веса.

[21] В некоторых вариантах осуществления способа он дополнительно включает в себя удаление из подграфа информации, соответствующей пользователям, оценившим меньше заранее заданного порогового количества организаций из подграфа.

[22] В некоторых вариантах осуществления способа он дополнительно включает в себя удаление из данных рейтингования организаций рейтингов, соответствующих пользователям, связанным с аномальными рейтингами организаций.

[23] В некоторых вариантах осуществления способа один или несколько рейтингов содержат бинарные рейтинги или шкальные рейтинги.

[24] В некоторых вариантах осуществления способа определение соответствия пороговому распределению рейтингов, соответствующих подграфу, включает в себя: получение рейтингов, соответствующих подграфу; определение доли наибольших или наименьших возможных рейтингов; и определение соответствия этой доли пороговой доле.

[25] В некоторых вариантах осуществления способа он перед формированием графа рейтингования организаций дополнительно включает в себя формирование предварительного графа рейтингования организаций, в котором каждый узел соответствует организации из множества организаций или пользователю, оценившему организацию, а каждое ребро соединяет пользователя с оцененной им организацией.

[26] В некоторых вариантах осуществления способа получение данных рейтингования организаций включает в себя получение данных рейтингования организаций, собранных в течение заранее заданного периода времени.

[27] В некоторых вариантах осуществления способа определение соответствия пороговому распределению рейтингов, соответствующих подграфу, включает в себя: получение рейтингов, соответствующих подграфу; определение количества рейтингов, больших высокого порогового рейтинга; и определение количества рейтингов, меньших низкого порогового рейтинга.

[28] В некоторых вариантах осуществления способа он дополнительно включает в себя сравнение количества рейтингов, больших высокого порогового рейтинга, и количества рейтингов, меньших низкого порогового рейтинга, с общим количеством рейтингов.

[29] В некоторых вариантах осуществления способа определение полного подграфа включает в себя определение подграфа, соответствующего заранее заданному пороговому количеству узлов.

[30] В соответствии с другим аспектом настоящей технологии реализована система для выявления пользователей, формирующих аномальные рейтинги организаций. Система содержит процессор и машиночитаемый физический носитель информации, содержащий команды. Процессор при выполнении команд способен: получать данные рейтингования организаций, содержащие множество организаций и один или несколько рейтингов для каждой организации; формировать граф рейтингования организаций, в котором каждый узел соответствует организации из множества организаций, а каждое ребро соединяет две организации и имеет вес, указывающий на количество пользователей, оценивших две организации, соединенные соответствующим ребром; определять в графе полный подграф, в котором каждый узел соединен со всеми остальными узлами подграфа; определять соответствие пороговому распределению рейтингов, соответствующих подграфу; и в случае определения соответствия пороговому распределению рейтингов, соответствующих подграфу, сохранять индикатор связи пользователей, соответствующих подграфу, с аномальными рейтингами организаций.

[31] В некоторых вариантах осуществления системы процессор при выполнении команд дополнительно способен удалять из графа ребра с весом, меньшим заранее заданного порогового веса.

[32] В некоторых вариантах осуществления системы процессор при выполнении команд дополнительно способен удалять из подграфа информацию, соответствующую пользователям, оценившим меньше заранее заданного порогового количества организаций из подграфа.

[33] В некоторых вариантах осуществления системы процессор при выполнении команд дополнительно способен удалять из данных рейтингования организаций рейтинги, соответствующие пользователям, связанным с аномальными рейтингами организаций.

[34] В соответствии еще одним аспектом настоящей технологии реализован способ выявления пользователей, формирующих аномальные рейтинги организаций. Способ выполняется сервером и включает в себя: получение данных рейтингования организаций, содержащих множество организаций и один или несколько рейтингов для каждой организации; определение на основе данных рейтингования организаций набора организаций, в котором для каждой организации и каждой другой организации из набора организаций имеется по меньшей один общий пользователь, оценивший обе эти организации; получение рейтингов, соответствующих набору организаций; определение аномальности распределения рейтингов; сохранение индикатора связи пользователей, оценивших две или более организаций из набора организаций, с аномальными рейтингами организаций.

[35] В некоторых вариантах осуществления способа он дополнительно включает в себя удаление рейтингов, соответствующих пользователям, оценившим меньше заранее заданного порогового количества организаций из набора организаций.

[36] В некоторых вариантах осуществления способа определение аномальности распределения рейтингов включает в себя определение доли наибольших или наименьших возможных рейтингов и определение соответствия этой доли пороговой доле.

[37] В некоторых вариантах осуществления способа определение аномальности распределения рейтингов включает в себя: определение метрики, соответствующей распределению рейтингов, и сравнение этой метрики с заранее заданной метрикой нормального распределения.

[38] В некоторых вариантах осуществления способа сохранение индикатора связи пользователей, оценивших две или более организаций из набора организаций, с аномальными рейтингами организаций включает в себя сохранение этого индикатора для пользователей, оценивших больше заранее заданного порогового количества организаций из набора организаций.

[39] В контексте настоящего описания термин «сервер» означает компьютерную программу, выполняемую соответствующими аппаратными средствами и способную принимать запросы (например, от электронных устройств) через сеть и выполнять эти запросы или инициировать их выполнение. Аппаратные средства могут представлять собой один физический компьютер или одну компьютерную систему, что не существенно для настоящей технологии. В настоящем контексте выражение «сервер» не означает, что каждая задача (например, принятая команда или запрос) или некоторая определенная задача принимается, выполняется или запускается одним и тем же сервером (т.е. одними и теми же программными и/или аппаратными средствами). Это выражение означает, что любое количество программных средств или аппаратных средств может принимать, отправлять, выполнять или инициировать выполнение любой задачи или запроса либо результатов любых задач или запросов. Все эти программные и аппаратные средства могут представлять собой один сервер или несколько серверов, причем оба эти случая подразумеваются в выражении «по меньшей мере один сервер».

[40] В контексте настоящего описания термин «электронное устройство» означает любое компьютерное аппаратное средство, способное выполнять программы, подходящие для решения поставленной задачи. Таким образом, некоторые (не имеющие ограничительного характера) примеры электронных устройств включают в себя персональные компьютеры (настольные, ноутбуки, нетбуки и т.п.), смартфоны и планшеты, а также сетевое оборудование, такое как маршрутизаторы, коммутаторы и шлюзы. Следует отметить, что в данном контексте устройство, функционирующее как электронное устройство, также может функционировать как сервер в отношении других электронных устройств. Использование выражения «электронное устройство» не исключает использования нескольких электронных устройств для приема, отправки, выполнения или инициирования выполнения любой задачи или запроса либо результатов любых задач или запросов, либо шагов любого описанного здесь способа.

[41] В контексте настоящего описания термин «база данных» означает любой структурированный набор данных, независимо от его конкретной структуры, программного обеспечения для управления базой данных или компьютерных аппаратных средств для хранения этих данных, их применения или обеспечения их использования иным способом. База данных может располагаться в тех же аппаратных средствах, где реализован процесс, обеспечивающий хранение или использование информации, хранящейся в базе данных, либо база данных может располагаться в отдельных аппаратных средствах, таких как специализированный сервер или множество серверов.

[42] В контексте настоящего описания выражение «информация» включает в себя информацию любого рода или вида, допускающую хранение в базе данных. Таким образом, информация включает в себя аудиовизуальные произведения (изображения, фильмы, звукозаписи, презентации и т.д.), данные (данные о местоположении, числовые данные и т.д.), текст (мнения, комментарии, вопросы, сообщения и т.д.), документы, электронные таблицы и т.д., но не ограничивается ими.

[43] В контексте настоящего описания выражение «пригодный для использования в компьютере носитель информации» означает носители любого рода и вида, включая оперативное запоминающее устройство (ОЗУ), постоянное запоминающее устройство (ПЗУ), диски (CD-ROM, DVD, гибкие диски, жесткие диски и т.д.), USB-накопители, твердотельные накопители, накопители на магнитных лентах и т.д.

[44] В контексте настоящего описания, если явно не указано другое, в качестве указания на информационный элемент может выступать сам информационный элемент, а также указатель, ссылка, гиперссылка или другое косвенное средство, с помощью которого получатель данных может найти место в сети, памяти, базе данных или на другом машиночитаемом носителе информации, откуда можно извлечь этот информационный элемент.Например, указание на документ может включать в себя сам документ (т.е. его содержимое) или это указание может представлять собой уникальный дескриптор документа, указывающий на файл в определенной файловой системе, или какие-либо другие средства для указания получателю данных места в сети, адреса памяти, таблицы в базе данных или другого места, где можно получить доступ к файлу. Специалисту в данной области должно быть очевидно, что степень точности, требуемая для такого указания, зависит от объема предварительных знаний относительно интерпретации информации, которой обмениваются отправитель и получатель данных. Например, если перед началом обмена данными между отправителем и получателем известно, что указание на информационный элемент представляет собой ключ базы данных для элемента в определенной таблице заранее заданной базы данных, содержащей этот информационный элемент, то для эффективной передачи этого информационного элемента получателю достаточно оправить ключ базы данных, даже если сам информационный элемент не передается между отправителем и получателем данных.

[45] В контексте настоящего описания числительные «первый», «второй», «третий», и т.д. используются лишь для указания различия между существительными, к которым они относятся, но не для описания каких-либо определенных взаимосвязей между этими существительными. Например, должно быть понятно, что использование терминов «первый сервер» и «третий сервер» не подразумевает какого-либо определенного порядка, типа, хронологии, иерархии или классификации, в данном случае, серверов, а также что их использование (само по себе) не подразумевает наличие «второго сервера» в любой ситуации. Кроме того, как встречается в настоящем описании в другом контексте, ссылка на «первый» элемент и «второй» элемент не исключает того, что эти два элемента в действительности могут быть одним и тем же элементом. Таким образом, например, в некоторых случаях «первый» сервер и «второй» сервер могут представлять собой одно и то же программное и/или аппаратное средство, а в других случаях - различные программные и/или аппаратные средства.

[46] Каждый вариант осуществления настоящей технологии относится к по меньшей мере одной из вышеупомянутых целей и/или аспектов, но не обязательно ко всем ним. Должно быть понятно, что некоторые аспекты настоящей технологии, связанные с попыткой достижения вышеупомянутой цели, могут не соответствовать этой цели и/или могут соответствовать другим целям, явным образом здесь не упомянутым.

[47] Дополнительные и/или альтернативные признаки, аспекты и преимущества вариантов осуществления настоящей технологии содержатся в дальнейшем описании, в приложенных чертежах и в формуле изобретения.

Краткое описание чертежей

[48] Дальнейшее описание приведено для лучшего понимания настоящей технологии, а также других аспектов и их признаков, и должно использоваться совместно с приложенными чертежами.

[49] На фиг. 1 представлены элементы и признаки вычислительного устройства согласно вариантам осуществления настоящей технологии.

[50] На фиг. 2 представлена схема системы, реализованной согласно вариантам осуществления настоящей технологии, не имеющим ограничительного характера.

[51] На фиг. 3 представлена соответствующая вариантам осуществления настоящей технологии схема с пользователями, отправляющими естественные рейтинги организаций.

[52] На фиг. 4 представлена соответствующая вариантам осуществления настоящей технологии схема с пользователями, отправляющими аномальные рейтинги организаций.

[53] На фиг. 5 и 6 приведена блок-схема способа выявления пользователей, формирующих аномальные рейтинги организаций, выполняемого в представленной на фиг. 2 системе согласно некоторым вариантам осуществления настоящей технологии, не имеющим ограничительного характера.

[54] На фиг. 7 представлен граф рейтингования организаций согласно вариантам осуществления настоящей технологии.

[55] На фиг. 8 представлен другой граф рейтингования организаций согласно вариантам осуществления настоящей технологии.

[56] На фиг. 9 приведены полные подграфы графа рейтингования организаций, представленного на фиг. 8, согласно вариантам осуществления настоящей технологии.

Осуществление изобретения

[57] Представленные в данном описании примеры и условный язык предназначены для обеспечения лучшего понимания принципов настоящей технологии, а не для ограничения ее объема до таких специально приведенных примеров и условий. Очевидно, что специалисты в данной области техники способны разработать различные способы и устройства, которые явно не описаны и не показаны, но реализуют принципы настоящей технологии в пределах ее существа и объема.

[58] Кроме того, чтобы способствовать лучшему пониманию, последующее описание может содержать упрощенные варианты реализации настоящей технологии. Специалистам в данной области должно быть понятно, что различные варианты осуществления настоящей технологии могут быть значительно сложнее.

[59] В некоторых случаях приводятся полезные примеры модификаций настоящей технологии. Они способствуют пониманию, но также не определяют объем или границы настоящей технологии. Представленный перечень модификаций не является исчерпывающим и специалист в данной области может разработать другие модификации в пределах объема настоящей технологии. Кроме того, если в некоторых случаях модификации не описаны, это не означает, что они невозможны и/или что описание содержит единственно возможный вариант реализации того или иного элемента настоящей технологии.

[60] Более того, описание принципов, аспектов и вариантов реализации настоящей технологии, а также их конкретные примеры, предназначены для охвата их структурных и функциональных эквивалентов, независимо от того, известны они в настоящее время или будут разработаны в будущем. Например, специалистам в данной области техники должно быть очевидно, что любые описанные здесь структурные схемы соответствуют концептуальным представлениям иллюстративных принципиальных схем, реализующих принципы настоящей технологии. Также должно быть очевидно, что любые блок-схемы, схемы процессов, диаграммы изменения состояния, псевдокоды и т.п.соответствуют различным процессам, которые могут быть представлены на машиночитаемом физическом носителе информации и могут выполняться компьютером или процессором, независимо от того, показан такой компьютер или процессор явно или нет.

[61] Функции различных элементов, показанных на чертежах, включая любой функциональный блок, обозначенный как «процессор» или «графический процессор», могут быть реализованы с использованием специализированных аппаратных средств, а также с использованием аппаратных средств, способных выполнять соответствующее программное обеспечение. Если используется процессор, эти функции могут выполняться одним выделенным процессором, одним совместно используемым процессором или множеством отдельных процессоров, некоторые из которых могут использоваться совместно. В некоторых вариантах осуществления настоящей технологии процессор может представлять собой процессор общего назначения, такой как центральный процессор (CPU), или специализированный процессор, такой как графический процессор (GPU). Кроме того, явное использование термина «процессор» или «контроллер» не должно трактоваться как указание исключительно на аппаратные средства, способные выполнять программное обеспечение, и может подразумевать, помимо прочего, аппаратные средства цифрового сигнального процессора (DSP), сетевой процессор, специализированную интегральную схему (ASIC), программируемую вентильную матрицу (FPGA), ПЗУ для хранения программного обеспечения, ОЗУ и энергонезависимое запоминающее устройство. Также могут подразумеваться другие аппаратные средства, общего назначения и/или заказные.

[62] Программные модули или просто модули, реализация которых предполагается в виде программных средств, могут быть представлены здесь как любое сочетание элементов блок-схемы или других элементов, указывающих на выполнение шагов процесса и/или содержащих текстовое описание. Такие модули могут выполняться аппаратными средствами, показанными явно или подразумеваемыми.

[63] Далее с учетом вышеизложенных принципов рассмотрены некоторые не имеющие ограничительного характера примеры, иллюстрирующие различные варианты реализации аспектов настоящей технологии.

[64] На фиг. 1 представлено вычислительное устройство 100, пригодное для использования с некоторыми вариантами осуществления настоящей технологии. Вычислительное устройство 100 содержит различные аппаратные элементы, включая один или несколько одно- или многоядерных процессоров, обобщенно представленных процессором 110, графический процессор (GPU) 111, твердотельный накопитель 120, ОЗУ 130, интерфейс 140 дисплея и интерфейс 150 ввода-вывода.

[65] Связь между различными элементами вычислительного устройства 100 может осуществляться через одну или несколько внутренних и/или внешних шин 160 (таких как шина PCI, универсальная последовательная шина, шина FireWire стандарта IEEE 1394, шина SCSI, шина Serial-ATA и т.д.), с которыми различные аппаратные элементы соединены электронными средствами.

[66] Интерфейс 150 ввода-вывода может соединяться с сенсорным экраном 190 и/или с одной или несколькими внутренними и/или внешними шинами 160. Сенсорный экран 190 может входить в состав дисплея. В некоторых вариантах реализации сенсорный экран 190 представляет собой дисплей. Сенсорный экран 190 может также называться экраном 190. В представленных на фиг. 1 вариантах осуществления изобретения сенсорный экран 190 содержит сенсорное оборудование 194 (например, чувствительные к нажатию ячейки, встроенные в дисплей и позволяющие обнаруживать физическое взаимодействие между пользователем и дисплеем) и контроллер 192 ввода-вывода для сенсорных устройств, который обеспечивает связь с интерфейсом 140 дисплея и/или одной или несколькими внутренними и/или внешними шинами 160. В некоторых вариантах осуществления изобретения интерфейс 150 ввода-вывода может соединяться с клавиатурой (не показана), мышью (не показана) или сенсорной площадкой (не показана), которые обеспечивают взаимодействие пользователя с вычислительным устройством 100 в дополнение к сенсорному экрану 190 или вместо него.

[67] Согласно вариантам осуществления настоящей технологии твердотельный накопитель 120 хранит программные команды, пригодные для загрузки в ОЗУ 130 и выполнения процессором 110 и/или графическим процессором 111. Программные команды могут, например, входить в состав библиотеки или приложения.

[68] Вычислительное устройство 100 может представлять собой сервер, настольный компьютер, планшет, смартфон, карманный персональный компьютер или любое устройство, способное реализовывать настоящую технологию, как должно быть понятно специалисту в данной области.

[69] На фиг. 2 представлена система 200, реализованная согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии. Система 200 содержит первое клиентское устройство 210, второе клиентское устройство 215, третье клиентское устройство 220 и четвертое клиентское устройство 225, соединенные с сетью 205 связи соответствующими линиями 245 связи. Система 200 содержит сервер 230 поисковой системы, сервер 235 анализа и сервер 240 обнаружения аномальных рейтингов организаций, соединенные с сетью 205 связи соответствующими линиями 245 связи.

[70] Первое клиентское устройство 210, второе клиентское устройство 215, третье клиентское устройство 220, четвертое клиентское устройство 225, сервер 230 поисковой системы, сервер 235 анализа и/или сервер 240 обнаружения аномальных рейтингов организаций могут представлять собой вычислительные устройства 100 и/или содержать элементы вычислительных устройств 100. Например, первое клиентское устройство 210 может быть реализовано в виде смартфона, второе клиентское устройство 215 может быть реализовано в виде ноутбука, третье клиентское устройство 220 может быть реализовано в виде смартфона, четвертое клиентское устройство 225 может быть реализовано в виде планшета. В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии сеть 205 связи может представлять собой сеть Интернет.В других вариантах осуществления настоящей технологии сеть 205 связи может быть реализована иначе, например, в виде произвольной глобальной сети связи, локальной сети связи, частной сети связи и т.д.

[71] На реализацию линии 245 связи не накладывается каких-либо особых ограничений, она зависит от реализации первого клиентского устройства 210, второго клиентского устройства 215, третьего клиентского устройства 220 и четвертого клиентского устройства 225. В качестве примера, не имеющего ограничительного характера, в тех вариантах реализации настоящей технологии, где по меньшей мере одно из клиентских устройств, таких как первое клиентское устройство 210, второе клиентское устройство 215, третье клиентское устройство 220 и четвертое клиентское устройство 225, реализовано в виде беспроводного устройства связи (такого как смартфон), линия 245 связи может быть реализована в виде беспроводной линии связи (такой как канал сети связи 3G, канал сети связи 4G, Wireless Fidelity или сокращенно WiFi®, Bluetooth(и т.п.). В тех примерах, где по меньшей мере одно из клиентских устройств, таких как первое клиентское устройство 210, второе клиентское устройство 215, третье клиентское устройство 220 и четвертое клиентское устройство 225, реализовано в виде ноутбука, смартфона или планшетного компьютера, линия 245 связи может быть как беспроводной (такой как Wireless Fidelity или кратко WiFi®, Bluetooth(и т.п.), так и проводной (такой как соединение на основе Ethernet).

[72] Очевидно, что варианты реализации первого клиентского устройства 210, второго клиентского устройства 215, третьего клиентского устройства 220, четвертого клиентского устройства 225, линии 245 связи и сети 205 связи приведены лишь для иллюстрации. Специалистам в данной области должны быть очевидными и другие конкретные детали реализации первого клиентского устройства 210, второго клиентского устройства 215, третьего клиентского устройства 220, четвертого клиентского устройства 225, линии 245 связи и сети 205 связи. Представленные выше примеры никак не ограничивают объем настоящей технологии.

[73] Несмотря на то, что на фиг. 2 показаны лишь четыре клиентских устройства 210, 215, 220 и 225, предполагается, что к системе 200 может быть подключено любое количество клиентских устройств 210, 215, 220 и 225. Также предполагается, что в некоторых вариантах осуществления изобретения в системе 200 могут насчитываться десятки или сотни тысяч клиентских устройств 210, 215, 220 и 225.

[74] К сети 205 связи также подключен вышеупомянутый сервер 230 поисковой системы. Сервер 230 поисковой системы может быть реализован в виде традиционного компьютерного сервера. В примере осуществления настоящей технологии сервер 230 поисковой системы может быть реализован в виде сервера Dell(PowerEdge™, работающего под управлением операционной системы Microsoft(Windows Server™. Сервер 230 поисковой системы может быть реализован с применением любых других подходящих аппаратных средств и/или программного обеспечения и/или встроенного программного обеспечения либо их сочетания. В представленном не имеющем ограничительного характера варианте осуществления настоящей технологии сервер 230 поисковой системы представляет собой один сервер. В других не имеющих ограничительного характера вариантах осуществления настоящей технологии функции сервера 230 поисковой системы могут быть распределены между несколькими серверами. В некоторых вариантах осуществления настоящей технологии сервер 230 поисковой системы управляется и/или администрируется оператором поисковой системы. В качестве альтернативы, сервер 230 поисковой системы может управляться и/или администрироваться поставщиком услуг.

[75 В целом, сервер 230 поисковой системы (а) осуществляет поиск; (б) анализирует и ранжирует результаты поиска; и (в) группирует результаты и формирует страницу результатов поисковой системы (SERP, Search Engine Result Page) для отправки электронному устройству (такому как первое клиентское устройство 210, второе клиентское устройство 215, третье клиентское устройство 220 и четвертое клиентское устройство 225).

[76] На сервер 230 поисковой системы, предназначенный для выполнения поиска, не накладывается каких-либо особых ограничений. Специалистам в данной области известен ряд способов и средств выполнения поиска с использованием сервера 230 поисковой системы, поэтому структурные элементы сервера 230 поисковой системы описаны в общем виде. Сервер 230 поисковой системы может поддерживать базу 250 данных журналов поиска. В некоторых вариантах осуществления настоящей технологии сервер 230 поисковой системы может выполнять несколько поисков, включая общий поиск и вертикальный поиск, но не ограничиваясь ими.

[77] Как известно специалистам в данной области техники, сервер 230 поисковой системы способен выполнять общие веб-поиски. Сервер 230 поисковой системы также способен выполнять один или несколько вертикальных поисков, таких как вертикальный поиск изображений, вертикальный поиск музыки, вертикальный поиск видеоматериалов, вертикальный поиск новостей, вертикальный поиск карт и т.д. Как известно специалистам в данной области, сервер 230 поисковой системы также способен выполнять алгоритм обходчика, согласно которому сервер 230 поисковой системы выполняет обход сети Интернет и индексирует посещенные веб-сайты в одной или нескольких индексных базах данных, таких как база 250 данных журналов поиска.

[78] Сервер 230 поисковой системы способен формировать ранжированный список результатов поиска, включающий в себя результаты общего веб-поиска и вертикального веб-поиска. Известно множество алгоритмов ранжирования результатов поиска, которые могут быть реализованы на сервере 230 поисковой системы.

[79] В качестве примера, не имеющего ограничительного характера, некоторые известные способы ранжирования результатов поиска по степени соответствия сделанному пользователем поисковому запросу основываются на некоторых или на всех следующих критериях: (а) популярность данного поискового запроса или соответствующего ответа при выполнении поисков; (б) количество предоставляемых результатов; (в) наличие в запросе определяющих терминов (таких как «изображения», «фильмы», «погода» и т.п.); (г) частота использования другими пользователями данного поискового запроса с определяющими терминами; и (д) частота выбора другими пользователями, выполняющими аналогичный поиск, определенного ресурса или определенных результатов вертикального поиска, когда результаты были представлены с использованием страницы SERP. Сервер 230 поисковой системы может рассчитывать и назначать коэффициент релевантности (основанный на различных представленных выше критериях) для каждого результата поиска, полученного по сделанному пользователем поисковому запросу, а также формировать страницу SERP, где результаты поиска ранжированы согласно их коэффициентам релевантности. В настоящем варианте осуществления изобретения сервер 230 поисковой системы может выполнять множество алгоритмов машинного обучения для ранжирования документов и/или формировать признаки для ранжирования документов.

[80] Сервер 230 поисковой системы обычно поддерживает базу 250 данных журналов поиска. В общем случае база 250 данных журнала поиска может поддерживать индекс 255, журнал 260 действий пользователей и журнал 265 рейтингов. Несмотря на то, что индекс 255, журнал 260 действий пользователей и журнал 265 рейтингов описаны в составе базы 250 данных журнала поиска, они могут быть реализованы отдельно от базы 250 данных журнала поиска.

[81] Сервер 230 поисковой системы и/или другой сервер может получать отправленные пользователями рейтинги организаций и/или управлять ими. Опция для оценивания организации может быть включена в состав страницы SERP и/или любой другой веб-страницы. Сервер 230 поисковой системы может получать рейтинг организации и сохранять запись рейтинга организации в журнале 265 рейтингов.

[82] Индекс 255 предназначен для индексирования документов, таких как веб-страницы, изображения, файлы в формате PDF, документы Word™, документы PowerPoint™, которые были просмотрены (или обнаружены) обходчиком сервера 230 поисковой системы. Когда пользователь первого клиентского устройства 210, второго клиентского устройства 215, третьего клиентского устройства 220 или четвертого клиентского устройства 225 вводит запрос и выполняет поиск на сервере 230 поисковой системы, сервер 230 поисковой системы анализирует индекс 255 и извлекает документы, содержащие термины запроса, а затем ранжирует их согласно алгоритму ранжирования.

[83] Журнал 260 действий пользователей предназначен для регистрации поисков, выполненных с использованием сервера 230 поисковой системы. В частности, в журнале 260 действий пользователей хранятся термины поисковых запросов (т.е соответствующие искомые слова) и связанные с ними результаты поиска. Следует отметить, что журнал 260 действий пользователей может поддерживаться в обезличенной форме, при этом поисковые запросы невозможно соотнести с пользователями, отправившими эти поисковые запросы.

[84] В частности, журнал 260 действий пользователей может содержать список запросов с соответствующими терминами, с информацией о документах, указанных сервером 230 поисковой системы в списке в ответ на соответствующий запрос, и с отметкой времени. Кроме того, он может содержать список пользователей, идентифицируемых с использованием анонимных идентификаторов (или вообще без идентификаторов), и соответствующие документы, выбранные ими после отправки запроса. В некоторых вариантах осуществления изобретения журнал 260 действий пользователей может обновляться при каждом выполнении нового поиска на сервере 230 поисковой системы. В других вариантах осуществления изобретения журнал 260 действий пользователей может обновляться в заранее заданные моменты времени. В некоторых вариантах осуществления изобретения может существовать множество копий журнала 260 действий пользователей, каждая из которых соответствует журналу 260 действий пользователей в различные моменты времени.

[85] Журнал 260 действий пользователей также может содержать параметры действий пользователей, отслеживаемые сервером 235 анализа после того, как пользователь отправил запрос и выбрал один или несколько документов на странице SERP на сервере 230 поисковой системы. В не имеющем ограничительного характера примере журнал 260 действий пользователей может содержать ссылку на документ, который может быть идентифицирован с использованием идентификационного номера или универсального указателя ресурсов (URL, Uniform Resource Locator), и список запросов, каждый из которых связан с множеством параметров действий пользователей, как более подробно описано ниже. В общем случае множество параметров действий пользователей может отслеживаться и объединяться сервером 235 анализа и в некоторых вариантах осуществления изобретения они могут фиксироваться для каждого отдельного пользователя.

[86] Не имеющие ограничительного характера примеры действий пользователей, отслеживаемых с использованием журнала 260 действий пользователей, включают в себя (в числе прочего):

- успех/неудача: был или не был выбран документ из ответа на поисковый запрос;

- время пребывания: время, затраченное пользователем на документ до возврата на страницу SERP;

- длинный/короткий «клик»: было взаимодействие пользователя с документом длительным или кратким по сравнению с взаимодействием пользователя с другими документами на странице SERP.

[87] Разумеется, что представленный выше список не является исчерпывающим и он может включать в себя другие виды действий пользователей без выхода за границы настоящей технологии. В некоторых вариантах осуществления изобретения сервер 235 анализа может объединять данные о действиях пользователей (которые в не имеющем ограничительного характера примере могут включать в себя действия пользователей для каждого часа) и формировать данные о действиях пользователей для сохранения в журнале 260 взаимодействий пользователя в подходящем для реализации настоящей технологии формате (которые в не имеющем ограничительного характера примере могут представлять действия пользователей для заранее заданного периода времени длительностью 3 месяца). В других вариантах осуществления изобретения в журнале 260 действий пользователей могут храниться данные о действиях пользователей в необработанном виде так, чтобы они могли извлекаться и объединяться сервером 230 поисковой системы и/или сервером 235 анализа и/или сервером 240 обнаружения аномальных рейтингов организаций и/или другим сервером (не показан) в формате, подходящем для реализации настоящей технологии.

[88] Журнал 265 рейтингов содержит отправленные пользователями рейтинги организаций. Каждый элемент журнала 265 рейтингов может содержать идентификатор пользователя, такой как IP-адрес, имя пользователя, адрес электронной посты и т.д. Каждый элемент может содержать указание на оцениваемую организацию, например, веб-хост организации, название организации, фактический адрес организации, контактную информацию организации. Несмотря на то, что настоящее описание приведено применительно к организации, должно быть понятно, что рейтинг может относиться к человеку и/или объекту любого другого вида. Каждый элемент в журнале 265 рейтингов может содержать отметку времени для рейтинга. Каждый элемент может содержать рейтинг, который может представлять собой бинарный рейтинг, шкальный рейтинг и/или рейтинг любого другого вида.

[89] К сети 205 связи также подключен вышеупомянутый сервер 235 анализа. Сервер 235 анализа может быть реализован в виде традиционного компьютерного сервера. В примере осуществления настоящей технологии сервер 235 анализа может быть реализован в виде сервера Dell(PowerEdge™, работающего под управлением операционной системы Microsoft(Windows Server™. Очевидно, что сервер 235 анализа может быть реализован с использованием любых других подходящих аппаратных средств и/или прикладного программного обеспечения и/или встроенного программного обеспечения либо их сочетания. В представленном не имеющем ограничительного характера варианте осуществления настоящей технологии сервер 235 анализа представляет собой один сервер. В других не имеющих ограничительного характера вариантах осуществления настоящей технологии функции сервера 235 анализа могут быть распределены между несколькими серверами. В других вариантах осуществления изобретения функции сервера 235 анализа могут полностью или частично выполняться сервером 230 поисковой системы. В некоторых вариантах осуществления настоящей технологии сервер 235 анализа управляется и/или администрируется оператором поисковой системы. В качестве альтернативы, сервер 235 анализа может управляться и/или администрироваться другим поставщиком услуг.

[90] В общем случае сервер 235 анализа предназначен для отслеживания действий пользователей с результатами поиска, предоставленными сервером 230 поисковой системы по запросам пользователей (например, сделанным пользователями первого клиентского устройства 210, второго клиентского устройства 215, третьего клиентского устройства 220 или четвертого клиентского устройства 225), на основе данных, хранящихся в журнале 260 действий пользователей.

[91] Не имеющие ограничительного характера примеры параметров действий пользователей, сформированных сервером 235 анализа, включают в себя (в числе прочего):

- коэффициент «кликов» (CTR, Click-Through Rate): количество случаев выбора элемента, деленное на количество показов (демонстраций) элемента;

- время сеанса: средняя продолжительность сеанса в секундах;

- логарифмическое время сеанса: среднее логарифмическое значение продолжительности сеанса;

- запросы: количество запросов, отправленных пользователем;

- «клики»: количество «кликов», выполненных пользователем;

- количество «кликов» на запрос: среднее количество «кликов» в расчете на один на запрос для пользователя;

- суточное количество активных пользователей (DAU, Daily Active Users): количество уникальных пользователей, взаимодействующих с сервисом в течение суток;

- средне количество сеансов в сутки на пользователя (S/U): u S(u) |u|, где S(u) - количество сеансов пользователя u в сутки, |u| - общее количество пользователей за сутки;

- среднее количество уникальных запросов на сеанс (UQ/S): s UQ(s) |s|, где UQ(s) - количество уникальных запросов в сеансе s, |s| - общее количество сеансов за сутки;

- средняя продолжительность сеанса на пользователя (SL/U): общее количество запросов в сеансе, усредненное по каждому пользователю;

- доля в процентах навигационных запросов на пользователя (%-Nav-Q/U): позиции «кликов»: если свыше n% всех «кликов» для запроса концентрируются на трех первых URL-адресах, этот запрос рассматривается как навигационный. В противном случае он обрабатывается как информационный. Значение n может быть установлено равным 80;

- средняя длина запроса на пользователя (QL/U): количество слов в запросе пользователя;

- средняя доля успешных попыток на пользователя (QSuccess/U): запрос пользователя считается успешным, если пользователь выбирает один или несколько результатов и остается на любом из них более 30 секунд;

- средний интервал между запросами на пользователя (QI/U): средний интервал времени между двумя последовательными запросами пользователя в течение сеанса пользователя;

- время пребывания: время, затраченное пользователем на документ до возврата на страницу SERP.

[92] Разумеется, представленный выше список не является исчерпывающим и он может включать в себя параметры действий пользователей других видов без выхода за границы настоящей технологии.

[93] Сервер 235 анализа может отправлять отслеженные параметры действий пользователей серверу 230 поисковой системы для сохранения в журнале 260 действий пользователей. В некоторых вариантах осуществления изобретения сервер 235 анализа может хранить параметры действий пользователей и соответствующие результаты поиска локально в журнале действий пользователей (не показан). В других не имеющих ограничительного характера вариантах осуществления настоящей технологии функции сервера 235 анализа и сервера 230 поисковой системы могут быть реализованы в одном сервере.

[94] К сети 205 связи также подключен вышеупомянутый сервер 240 обнаружения аномальных рейтингов организаций. Сервер 240 обнаружения аномальных рейтингов организаций может быть реализован в виде традиционного компьютерного сервера. В примере осуществления настоящей технологии сервер 240 обнаружения аномальных рейтингов организаций может быть реализован в виде сервера Dell(PowerEdge™, работающего под управлением операционной системы Microsoft(Windows Server™. Очевидно, что сервер 240 обнаружения аномальных рейтингов организаций может быть реализован с использованием любых других подходящих аппаратных средств и/или прикладного программного обеспечения и/или встроенного программного обеспечения либо их сочетания. В представленном не имеющем ограничительного характера варианте осуществления настоящей технологии сервер 240 обнаружения аномальных рейтингов организаций представляет собой один сервер. В других не имеющих ограничительного характера вариантах осуществления настоящей технологии функции сервера 240 обнаружения аномальных рейтингов организаций могут быть распределены между несколькими серверами. В контексте настоящей технологии описанные здесь способы и системы могут быть частично реализованы на сервере 240 обнаружения аномальных рейтингов организаций. В некоторых вариантах осуществления настоящей технологии сервер 240 обнаружения аномальных рейтингов организаций управляется и/или администрируется оператором поисковой системы. В качестве альтернативы, сервер 240 обнаружения аномальных рейтингов организаций может управляться и/или администрироваться другим поставщиком услуг.

[95] В общем случае сервер 240 обнаружения аномальных рейтингов организаций предназначен для определения аномальных рейтингов организаций и/или пользователей, формирующих аномальные рейтинги организаций. Как более подробно описано ниже, сервер 240 обнаружения аномальных рейтингов организаций, например, анализирует журнал 265 рейтингов с целью определения аномальных рейтингов организаций и/или пользователей, формирующих аномальные рейтинги организаций.

[96] На фиг. 3 представлена схема с пользователями, отправляющими естественные рейтинги организаций. Как описано выше, сервер 230 поисковой системы получает рейтинги организаций, отправленные пользователями. Несмотря на то, что в данном описании указан сервер 230 поисковой системы, для получения и/или управления рейтингами организаций может быть использован сервер другого вида.

[97] Обычно пользователи 310 могут отправлять рейтинги организаций серверу 230 поисковой системы с использованием сообщений 341. Рейтинги могут представлять собой бинарные рейтинги, шкальные рейтинги, текстовые отзывы и/или рейтинги любого другого вида. Эти рейтинги могут основываться на мнениях пользователей 310 об оцениваемых ими организациях. Сервер 230 поисковой системы может сохранять рейтинги организаций в журнале 265 рейтингов.

[98] Пользователь 320 может запрашивать информацию с сервера 320 поисковой системы с использованием сообщений 342. Сервер 230 поисковой системы может на основе информации, переданной в сообщении 342, получать рейтинги организаций из журнала 265 рейтингов. Затем сервер 230 поисковой системы может отправлять информацию, соответствующую запросу пользователя 320, с использованием сообщений 343. Ответ пользователю 320 может содержать рейтинги организаций для организаций из ответа. Эти рейтинги организаций могут основываться на рейтингах, отправленных пользователями 310, и могут отражать фактические мнения пользователей 310 об организациях. Например, пользователи 310 могут отправлять рейтинги организаций для различных автомехаников с использованием сообщений 341. Затем пользователь 320 может запросить информацию относительно автомехаников. Затем пользователь 320 может получить страницу SERP с различными автомеханиками и соответствующими индивидуальными или общими рейтингами организаций для этих автомехаников. Затем пользователь 320 может использовать эти рейтинги организаций для выбора автомеханика, услугами которого он желает воспользоваться.

[99] Пользователь 320 может предполагать, что просматриваемые им рейтинги организаций основываются на фактических мнениях пользователей 310 и отражают собственные мнения пользователей 310 об оцененных ими организациях. Но, как описано выше, недобросовестные акторы могут стремиться повлиять на рейтинги организаций. На фиг. 4 представлена соответствующая вариантам осуществления настоящей технологии схема с пользователями, отправляющими аномальные рейтинги организаций.

[100] Пользователи 410 получают инструкции от сервера 450 фальсификации рейтингов (см. фиг. 4). В инструкциях может быть указано, какие рейтинги и для каких организаций должен отправлять пользователь. Например, в инструкциях может быть указано, что пользователи 410 должны отправлять наибольший возможный рейтинг для рекламируемой оператором сервера 450 фальсификации рейтингов организации и/или наименьший возможный рейтинг для организации, являющейся конкурентом рекламируемой оператором сервера 450 фальсификации рейтингов организации. Рейтинги организаций, отправленные пользователем на основе инструкций от источника постороннего влияния, здесь называются аномальными рейтингами организаций.

[101] Пользователь 410 может отправлять аномальные рейтинги организаций серверу 230 поисковой системы с использованием сообщений 441, согласно указаниям сервера 450 фальсификации рейтингов. Сервер 230 поисковой системы может сохранять аномальные рейтинги организаций в журнале 265 рейтингов.

[102] Затем пользователь 420 может запрашивать информацию с сервера 320 поисковой системы с использованием сообщений 443. Запрос может представлять собой запрос списка организаций. После получения запроса от пользователя 420 сервер 230 поисковой системы может получать соответствующую информацию о рейтингах организаций из журнала 265 рейтингов. На полученную информацию могут влиять аномальные рейтинги организаций, отправленные пользователями 410. Затем сервер 230 поисковой системы может отправлять информацию о рейтингах организаций пользователю 420 с использованием сообщений 444.

[103] Несмотря на то, что пользователь 420 ожидает получить рейтинги организаций, отражающие фактические мнения пользователей 410, отправивших рейтинги организаций, пользователь 420 на практике получает аномальные рейтинги организаций, на которые повлиял сервер 450 фальсификации рейтингов. Например, пользователь 420 может получить информацию о том, что некая организация имеет очень высокий рейтинг, тогда как эта организация имела бы очень низкий фактический рейтинг без учета аномальных рейтингов организации. Затем пользователь 420 может выбрать эту организацию на основе очень высокого рейтинга и может быть разочарован результатами деятельности выбранной организации. Затем у пользователя 420 может сформироваться негативное мнение об организации, управляющей сервером 230 поисковой системы, и/или возникнуть сомнения относительно точности рейтингов организаций, предоставляемых сервером 230 поисковой системы. Для обнаружения и/или удаления аномальных рейтингов организаций, на которые повлиял недобросовестный актор, такой как сервер 450 фальсификации рейтингов, может быть использован способ 500, описанный ниже более подробно.

Способ (не имеющий ограничительного характера вариант осуществления)

[104] На фиг. 5 и 6 представлена блок-схема способа 500, который может быть реализован согласно вариантам осуществления настоящей технологии, не имеющим ограничительного характера.

Шаг 505: получение истории рейтингов организаций.

[105] Способ 500 начинается с шага 505. На шаге 505 может быть получена история рейтингов организаций. История рейтингов организаций может быть получена из журнала 265 рейтингов. Как описано выше, история рейтингов организаций может содержать отправленные пользователями рейтинги организаций. Каждый рейтинг организации из истории рейтингов организаций может содержать имя пользователя, идентификатор ID пользователя, IP-адрес или другой идентификатор пользователя. Каждый рейтинг организации может содержать отметку времени, указывающую на время отправки рейтинга организации. Каждый рейтинг организации может содержать идентификатор оцененной организации, такой как адрес веб-хоста организации. Каждый рейтинг организации может содержать географическое местоположение и/или регион пользователя, отправившего рейтинг организации. Каждый рейтинг организации может содержать шкальный рейтинг, бинарный рейтинг, текстовый рейтинг и/или рейтинг организации любого другого вида.

[106] Полученная история рейтингов организаций может соответствовать заданному временному окну. Например, может быть получена история рейтингов организаций для последних 30 суток. Для получения истории рейтингов организаций могут быть использованы один или несколько запросов к базе данных. Запрос может указывать период времени, регион и/или другие фильтры, которые должны применяться к истории рейтингов организаций.

Шаг 510: формирование первого графа истории рейтингов организаций.

[107] После получения на шаге 505 истории рейтингов организаций далее на шаге 510 может быть сформирован граф истории рейтингов организаций. На фиг. 7, более подробно описанной ниже, представлен пример графа истории рейтингов организаций, который может быть сформирован на шаге 510. Каждая организация из истории рейтингов организаций может быть включена в состав графа в виде узла. Каждый пользователь из истории рейтингов организаций также может быть включен в состав графа в виде узла. Пользователи могут быть представлены идентификаторами ID пользователей или идентификаторами любого другого вида.

[108] Организации с количеством рейтингов меньше минимального порогового количества и/или организации с количеством рейтингов больше максимального порогового количества, могут не включаться в состав графа. Минимальное и/или максимальное пороговое количество рейтингов может быть задано заранее. Несмотря на то, что здесь описано пороговое значение, для выбора организаций, подлежащих включению в состав графа, могут быть использованы любые другие критерии выбора. Отсутствие в составе графа организаций, имеющих очень малое или очень большое количество рейтингов, позволяет повысить эффективность способа 500.

[109] Узлы графа могут быть соединены ребрами. Для каждого рейтинга из истории рейтингов организаций в графе может быть предусмотрено ребро, соединяющее пользователя, отправившего рейтинг организации, и оцененную этим пользователем организацию. Ребра могут быть невзвешенными или могут иметь некоторый одинаковый вес.

[110] Несмотря на то, что здесь описан граф, должно быть понятно, что для представления истории рейтингов организаций могут быть использованы и другие структуры данных.

Шаг 515: формирование второго графа истории рейтингов.

[111] Граф, сформированный на шаге 510, может быть использован для формирования второго графа на шаге 515. На фиг. 8, более подробно описанной ниже, представлен пример графа истории рейтингов организаций, который может быть сформирован на шаге 515. Во втором графе каждой организации из графа, сформированного на шаге 510, может соответствовать узел. В отличие от графа, сформированного на шаге 510, второй граф может не содержать узлы, представляющие пользователей.

[112] Организации из второго графа могут быть соединены взвешенными ребрами. Ребра могут соединять организации, оцененные одним и тем же пользователем. Например, если один пользователь оценил первую организацию, вторую организацию и третью организацию, то первое ребро может соединять первую организацию и вторую организацию, второе ребро может соединять первую организацию и третью организацию, а третье ребро может соединять вторую организацию и третью организацию.

[113] Для ребер могут быть назначены веса на основе количества общих пользователей, оценивших обе организации, соединенные ребром. Например, если три пользователя оценили первую организацию, и те же три пользователя оценили вторую организацию, то для ребра, соединяющего первую организацию и вторую организацию, может быть назначен вес, равный трем.

[114] Несмотря на то, что граф, сформированный на шаге 515, описан как второй граф, должно быть понятно, что этот граф может быть сформирован без графа, предварительно сформированного на шаге 510. Также должно быть понятно, что несмотря на то, что здесь описан граф, на шаге 515 может быть сформирована любая другая подходящая структура данных.

Шаг 520: фильтрация ребер второго графа истории рейтингов.

[115] На шаге 520 могут быть отфильтрованы ребра второго графа с весом меньше порогового веса. Пороговый вес может быть задан заранее. Пороговый вес может быть определен на основе различных атрибутов второго графа, например, на основе общего количества отзывов, представленных во втором графе. Ребра второго графа, сформированного на шаге 515, с весом, меньшим порогового веса, могут быть удалены из второго графа. Например, если пороговый вес равен четырем и две организации оценены двумя общими пользователями, то ребро, соединяющее эти две организации, может быть удалено.

Шаг 525: определение полных подграфов во втором графе.

[116] На шаге 525 во втором графе могут быть определены полные подграфы. Полные подграфы представляют собой подграфы, в которых каждый узел подграфа соединен ребром с каждым другим узлом подграфа. Иными словами, полный подграф содержит группу организаций, каждая из которых оценена по меньшей мере одним пользователем, оценившим и каждую другую организацию из подграфа. Определенные подграфы могут иметь минимальный размер и/или минимальную сумму весов ребер. Минимальный размер и/или минимальная сумма могут быть заданы заранее. Минимальный размер может представлять собой минимальное количество узлов. Полные подграфы могут содержать узлы организаций из этого подграфа и взвешенные ребра, соединяющие эти узлы.

Шаг 605: выбор одного из полных подграфов.

[117] После определения на шаге 525 полных подграфов далее на шаге 605 может быть выбран один из полных подграфов. Подграфы могут выбираться в любом порядке. Для выбора подграфов могут использоваться заранее заданные критерии выбора, например, выбор первым подграфа, содержащего наибольшее количество организаций, последующий выбор подграфа, содержащего следующее по порядку количество организаций, и т.д.

Шаг 610: фильтрация рейтингов в выбранном подграфе.

[118] На шаге 610 рейтинги, сформированные пользователями, оценившими меньше порогового количества организаций из подграфа, выбранного на шаге 605, могут быть исключены из рассмотрения. Информация, соответствующая пользователям, оценившими меньше порогового количества организаций из подграфа, может быть удалена из подграфа. Например, на шаге 610 могут быть скорректированы веса ребер графа.

[119] Из всех рейтингов организаций из подграфа может быть сформирован список или данные в любом другом подходящем формате. Рейтинги могут содержаться в истории рейтингов, полученной на шаге 505. Для каждого пользователя, оценившего организацию из подграфа, может быть определено общее количество организаций из подграфа, оцененных этим пользователем. Для определения количества организаций из подграфа, оцененных пользователем, может быть использована история рейтингов. Если общее количество организаций из подграфа, оцененных пользователем, меньше порогового количества организаций, то рейтинги организаций, отправленные этим пользователем, могут быть удалены из списка. Пороговое количество организаций может представлять собой заранее заданное количество организаций. Пороговое количество организаций может быть определено на основе количества организаций в подграфе.

[120] Пользователи, отправившие рейтинги для меньше чем порогового количества организаций из подграфа, могут с меньшей вероятностью представлять собой пользователей, отправляющих аномальные рейтинги. Более вероятно, что эти пользователи формируют естественные рейтинги на основе их действительных впечатлений. Исключение этих рейтингов из рассмотрения позволяет повысить точность и/или эффективность способа 500.

Шаг 615: определение метрики распределения для подграфа.

[121] На шаге 615 может быть определена метрика распределения рейтингов для подграфа. Для определения метрики распределения может быть использован список рейтингов организаций из подграфа. Список рейтингов может не содержать рейтинги, отфильтрованные на шаге 610.

[122] Для бинарных рейтингов метрика распределения может указывать на то, что рейтинги организаций из списка рейтингов равномерно распределены между положительными и отрицательными, на то, что они преимущественно положительные, или на то, что они преимущественно отрицательные. Для шкальных рейтингов метрика распределения может указывать на то, что рейтинги организаций из списка рейтингов равномерно распределены в пределах диапазона, или на то, что они сосредоточены на краях диапазона - либо крайне положительные, либо крайне отрицательные. Метрика распределения может представлять собой и/или может основываться на метрике статистического разброса, такой как среднеквадратическое отклонение, межквартильный размах, среднее абсолютное отклонение (MAD, Median Absolute Deviation) и т.д. Несмотря на то, что здесь описана одна метрика распределения, может использоваться несколько метрик.

Шаг 620: определение превышения метрикой порога.

[123] На шаге 620 метрика, определенная на шаге 615, может сравниваться с пороговой метрикой. Пороговая метрика может быть задана заранее. Пороговая метрика может быть выбрана так, чтобы различать списки рейтингов, содержащие аномальные рейтинги, и списки рейтингов с естественными рейтингами. Например, может определяться доля наибольших и/или наименьших возможных рейтингов среди всех рейтингов и сравниваться с пороговой долей. Если эта доля превышает пороговую долю, иными словами, если имеется необычное количество очень высоких и/или очень низких рейтингов, то рейтинги определяются как аномальные рейтинги. В другом примере может определяться количество рейтингов, больших высокого порогового рейтинга и/или меньших низкого порогового рейтинга, и сравниваться с общим количеством рейтингов.

[124] Если рейтинги из подграфа, определенные на шаге 620, соответствуют порогу, то рейтинги из подграфа могут рассматриваться как аномальные рейтинги. Затем способ 500 может продолжаться на шаге 625. Шаги 625, 630 и 635 описывают различные меры, которые могут быть приняты для противодействия влиянию аномальных рейтингов организаций. Если метрика, определенная на шаге 615, не соответствует пороговой метрике, способ 500 может продолжаться на шаге 640 и определять, содержат ли рейтинги организаций следующего полного подграфа аномальные рейтинги организаций.

Шаг 625: сохранение индикатора для пользователей, оценивших организации из подграфа.

[125] Как описано выше, если рейтинги из подграфа, определенные на шаге 620, соответствуют порогу, то рейтинги из подграфа могут рассматриваться как аномальные рейтинги. Для каждого пользователя, отправившего рейтинг из списка таких рейтингов, может быть сохранен индикатор, указывающий на то, что пользователь отправлял аномальные рейтинги. Этот индикатор может содержать идентификатор пользователя, такой как имя пользователя, адрес электронной почты, IP-адрес, идентификатор пользователя UID (User IDentifier) и т.д. Для противодействия аномальным рейтингам будущие рейтинги, отправленные этими пользователями, могут не сохраняться в журнале 265 рейтингов и/или при определении общих рейтингов организаций им может присваиваться меньший вес, чем рейтингам организаций, отправленным другими пользователями.

Шаг 630: удаление аномальных рейтингов организаций.

[126] На шаге 630 аномальные рейтинги организаций могут удаляться из места их хранения, например, путем удаления их из журнала 263 рейтингов. Для противодействия влиянию аномальных рейтингов организаций эти аномальные рейтинги организаций могут быть удалены, чтобы не влиять на рейтинги организаций, представляемые пользователям и/или используемые для ранжирования организаций.

Шаг 635: уменьшение рейтингов организаций из подграфа.

[127] На шаге 635 в отношении организаций, получивших выгоды от аномальных рейтингов, могут быть применены штрафные санкции. Общий рейтинг организации может быть уменьшен для организаций из подграфа, получивших крайне положительные рейтинги. На страницах SERP может быть понижена позиция веб-страниц организаций, получивших выгоды от аномальных рейтингов.

[128] В отношении организаций, получивших отрицательные аномальные рейтинги организаций, штрафные санкции могут не применяться. Более того, организациям, получившим отрицательные аномальные рейтинги, с целью противодействия аномальным рейтингам организаций может быть назначен более высокий общий рейтинг организации и/или может быть увеличен их ранг в результатах поиска.

Шаг 640: определение наличия оставшихся полных подграфов.

[129] На шаге 640 может быть определено, все ли полные подграфы, определенные на шаге 525, проверены. Если полных подграфов не осталось, способ 500 завершается на шаге 645. Если имеются оставшиеся полные подграфы для определения метрик распределения, то способ 500 может продолжаться на шаге 605, на котором выбирается следующий подграф.

[130] На фиг. 7-9 представлены схемы не имеющего ограничительного характера примера применения способа 500. На фиг. 7 представлен граф 700 рейтингования организаций согласно вариантам осуществления настоящей технологии. Граф 700 представляет собой пример графа, который может быть сформирован на шаге 510 способа 500. Граф 700 содержит узлы для организаций и для пользователей. Организации 701-707 представляют собой организации, оцененные пользователями 711-716. Каждая организация 701-707 представлена в своем собственном узле и каждый пользователь 711-716 представлен в своем собственном узле. Ребра указывают на то, какие организации 701-707 оценивались какими пользователям. Например, согласно графу 700, пользователь 711 оценил организации 701, 702 и 703.

[131] На фиг. 8 представлен второй граф 800 рейтингования организаций согласно вариантам осуществления настоящей технологии. Граф 800 представляет собой пример графа, который может быть сформирован на шаге 515 способа 500. Для формирования графа 800 может быть использован граф 700. В отличие от графа 700, граф 800 не содержит узлов для пользователей. В графе 800 каждая организация 701-707 представлена узлом. Взвешенные ребра 801-811 соединяют все организации 701-707. Вес каждого ребра 801-811 указывает на количество общих пользователей, оценивших обе организации, соединенные соответствующим ребром 801-811. Например, согласно графу 700, организации 703 и 705 оценены пользователем 713. Вес ребра 805, соединяющего организации 703 и 705, может быть равен 1. В другом примере организации 705 и 707 оценены пользователями 714, 715 и 716. Для указания на то, что обе организации оценены тремя общими пользователями, вес ребра 811, соединяющего организации 705 и 707, может быть равен 3.

[132] В графе 800 могут быть определены полные подграфы, как описано на шаге 525 способа 500. На фиг. 9 приведены полные подграфы графа рейтингования организаций, представленного на фиг. 8, согласно вариантам осуществления настоящей технологии. В графе 800 определены два полных подграфа: подграф 900 и подграф 910. Как показано на чертеже, каждая организация 701-703 из подграфа 900 соединена с каждой другой организацией 701-703 из подграфа 900 одним ребром 801-803. Подобная ситуация наблюдается и в подграфе 910.

[133] Как описано выше в отношении способа 500, для каждого из подграфов 900 и 910 может быть определена метрика распределения. Метрики распределения могут быть использованы, чтобы определить, являются ли рейтинги организаций, соответствующие подграфам 900 и 910, аномальными рейтингами организаций.

[134] Несмотря на то, что описанные выше варианты реализации приведены со ссылкой на конкретные шаги, выполняемые в определенном порядке, должно быть понятно, что эти шаги могут быть объединены, разделены или что их порядок может быть изменен без выхода за границы настоящей технологии. По меньшей мере некоторые из шагов могут выполняться параллельно или последовательно. Соответственно, порядок и группировка шагов не носят ограничительного характера для настоящей технологии.

[135] Очевидно, что не все упомянутые в данном описании технические эффекты должны присутствовать в каждом варианте осуществления настоящей технологии. Например, возможны варианты осуществления настоящей технологии, когда пользователь не получает некоторые из этих технических эффектов, или другие варианты реализации, когда пользователь получает другие технические эффекты либо когда технический эффект отсутствует.

[136] Некоторые из этих шагов и передаваемых или принимаемых сигналов хорошо известны в данной области техники и по этой причине опущены в некоторых частях описания для упрощения. Сигналы могут передаваться или приниматься с использованием оптических средств (таких как волоконно-оптическое соединение), электронных средств (таких как проводное или беспроводное соединение) и механических средств (например, основанных на давлении, температуре или любом другом подходящем физическом параметре).

[137] Для специалиста в данной области могут быть очевидными возможные изменения и усовершенствования описанных выше вариантов осуществления настоящей технологии. Предшествующее описание приведено лишь в иллюстративных целях, а не для ограничения объема изобретения. Объем охраны настоящей технологии определяется исключительно объемом приложенной формулы изобретения.

1. Способ коррекции работы онлайн-сервиса, выполняемый на сервере и включающий в себя:

- получение на сервере от одного или более клиентских устройств, связанных с одним или более пользователями, через сеть связи данных рейтингования организаций, содержащих множество организаций и один или несколько рейтингов для каждой организации;

- формирование на сервере графа рейтингования организаций, в котором каждый узел соответствует организации из множества организаций, а каждое ребро соединяет две организации и имеет вес, указывающий на количество пользователей, оценивших две организации, соединенные соответствующим ребром;

- определение на сервере в графе полного подграфа, в котором каждый узел соединен со всеми остальными узлами подграфа;

- определение на сервере соответствия пороговому распределению рейтингов, соответствующих подграфу; и

- в случае определения соответствия пороговому распределению рейтингов, соответствующих подграфу, сохранение на сервере индикатора связи пользователей, соответствующих подграфу, с аномальными рейтингами организаций.

2. Способ по п. 1, отличающийся тем, что он дополнительно включает в себя удаление из графа ребер с весом, меньшим заранее заданного порогового веса.

3. Способ по п. 1, отличающийся тем, что он дополнительно включает в себя удаление из подграфа информации, соответствующей пользователям, оценившим меньше заранее заданного порогового количества организаций из подграфа.

4. Способ по п. 1, отличающийся тем, что он дополнительно включает в себя удаление из данных рейтингования организаций рейтингов, соответствующих пользователям, связанным с аномальными рейтингами организаций.

5. Способ по п. 1, отличающийся тем, что один или несколько рейтингов содержат бинарные рейтинги или шкальные рейтинги.

6. Способ по п. 1, отличающийся тем, что определение соответствия пороговому распределению рейтингов, соответствующих подграфу, включает в себя:

- получение рейтингов, соответствующих подграфу;

- определение доли наибольших или наименьших возможных рейтингов; и

- определение соответствия этой доли пороговой доле.

7. Способ по п. 1, отличающийся тем, что он перед формированием графа рейтингования организаций дополнительно включает в себя формирование предварительного графа рейтингования организаций, в котором каждый узел соответствует организации из множества организаций или пользователю, оценившему организацию, а каждое ребро соединяет пользователя с оцененной им организацией.

8. Способ по п. 1, отличающийся тем, что получение данных рейтингования организаций включает в себя получение данных рейтингования организаций, собранных в течение заранее заданного периода времени.

9. Способ по п. 1, отличающийся тем, что определение соответствия пороговому распределению рейтингов, соответствующих подграфу, включает в себя:

- получение рейтингов, соответствующих подграфу;

- определение количества рейтингов, больших высокого порогового рейтинга; и

- определение количества рейтингов, меньших низкого порогового рейтинга.

10. Способ по п. 9, отличающийся тем, что он дополнительно включает в себя сравнение количества рейтингов, больших высокого порогового рейтинга, и количества рейтингов, меньших низкого порогового рейтинга, с общим количеством рейтингов.

11. Способ по п. 1, отличающийся тем, что определение полного подграфа включает в себя определение подграфа, соответствующего заранее заданному пороговому количеству узлов.

12. Система для коррекции работы онлайн-сервиса, содержащая процессор и машиночитаемый физический носитель информации, содержащий команды, в которой процессор выполнен с возможностью выполнения следующих действий при выполнении команд:

- получение от одного или более клиентских устройств, связанных с одним или более пользователями, через сеть связи данных рейтингования организаций, содержащих множество организаций и один или несколько рейтингов для каждой организации;

- формирование графа рейтингования организаций, в котором каждый узел соответствует организации из множества организаций, а каждое ребро соединяет две организации и имеет вес, указывающий на количество пользователей, оценивших две организации, соединенные соответствующим ребром;

- определение в графе полного подграфа, в котором каждый узел соединен со всеми остальными узлами подграфа;

- определение соответствия пороговому распределению рейтингов, соответствующих подграфу; и

- в случае определения соответствия пороговому распределению рейтингов, соответствующих подграфу, сохранение индикатора связи пользователей, соответствующих подграфу, с аномальными рейтингами организаций.

13. Система по п. 12, отличающаяся тем, что процессор при выполнении команд дополнительно способен удалять из графа ребра с весом, меньшим заранее заданного порогового веса.

14. Система по п. 12, отличающаяся тем, что процессор при выполнении команд дополнительно способен удалять из подграфа информацию, соответствующую пользователям, оценившим меньше заранее заданного порогового количества организаций из подграфа.

15. Система по п. 12, отличающаяся тем, что процессор при выполнении команд дополнительно способен удалять из данных рейтингования организаций рейтинги, соответствующие пользователям, связанным с аномальными рейтингами организаций.

16. Способ коррекции работы онлайн-сервиса, выполняемый на сервере и включающий в себя:

- получение на сервере от одного или более клиентских устройств, связанных с одним или более пользователями, через сеть связи данных рейтингования организаций, содержащих множество организаций и один или несколько рейтингов для каждой организации;

- определение на сервере на основе данных рейтингования организаций набора организаций, в котором для каждой организации и каждой другой организации из набора организаций имеется по меньшей мере один общий пользователь, оценивший обе эти организации;

- получение на сервере рейтингов, соответствующих набору организаций;

- определение на сервере аномальности распределения рейтингов; и

- сохранение на сервере индикатора связи пользователей, оценивших две или более организаций из набора организаций, с аномальными рейтингами организаций.

17. Способ по п. 16, отличающийся тем, что он дополнительно включает в себя удаление рейтингов, соответствующих пользователям, оценившим меньше заранее заданного порогового количества организаций из набора организаций.

18. Способ по п. 16, отличающийся тем, что определение аномальности распределения рейтингов включает в себя:

- определение доли наибольших или наименьших возможных рейтингов; и

- определение соответствия этой доли пороговой доле.

19. Способ по п. 16, отличающийся тем, что определение аномальности распределения рейтингов включает в себя:

- определение метрики, соответствующей распределению рейтингов; и

- сравнение этой метрики с заранее заданной метрикой нормального распределения.

20. Способ по п. 16, отличающийся тем, что сохранение индикатора связи пользователей, оценивших две или более организаций из набора организаций, с аномальными рейтингами организаций включает в себя сохранение этого индикатора для пользователей, оценивших больше заранее заданного порогового количества организаций из набора организаций.