Способ выполнения задач

Изобретение относится к способу и серверу выполнения задачи определенного вида. Технический результат заключается в повышении эффективности выполнения задачи. В способе с помощью сервера выполняют прием указания на первый результат задачи, выполненной экспертом, при этом оценка качества эксперта указывает надежность первого результата, причем оценку качества эксперта получают из базы данных; реализацию алгоритма машинного обучения (MLA) с целью выполнения задачи для формирования второго результата задачи, при этом оценка качества алгоритма машинного обучения указывает надежность второго результата, причем оценку качества алгоритма машинного обучения получают из физической памяти; определение параметра уровня достоверности, указывающего вероятность правильности первого результата, на основе первого результата, второго результата, оценки качества эксперта и оценки качества алгоритма машинного обучения; определение превышения вероятностью, указанной определенным параметром уровня достоверности, заранее заданной пороговой вероятности; и обработку задачи как выполненной с первым результатом, если определено, что вероятность, указанная определенным параметром уровня достоверности, превышает заранее заданную пороговую вероятность. 2 н. и 20 з.п. ф-лы, 4 ил.

 

Область техники, к которой относится изобретение

[001] Настоящая технология относится к способам и системам для выполнения задач и, в частности, к способам и системам для выполнения краудсорсинговых задач. Уровень техники

[002] Существует множество способов и систем для краудсорсинга. Например, в документе US 8626545 B2 (опубликован 7 января 2014 г., CrowdFlower Inc.) описана платформа для распределения работы, объединяющая данные о качестве выполнения работы исполнителями, выполняющими краудсорсинговые задачи, в профилях этих исполнителей. В патенте также описан способ формирования и сохранения данных о качестве выполняемой работы при выполнении исполнителями одной или нескольких задач, распределяемых в онлайн-режиме в их соответствующие вычислительные устройства платформой распределения работы, осуществляющей краудсорсинг задач с привлечением удаленных исполнителей через сеть. Задачи могут относиться к текущим работам и к истории предыдущих работ, распределенных конкретному исполнителю, при этом данные о качестве выполнения работы этим исполнителем собираются для текущей работы и для предыдущих работ. Новые работы могут назначаться исполнителю, выбранному на основе данных о качестве выполнения работы этим исполнителем.

[003] В качестве другого примера можно привести документ US 20130231969 A1 (опубликован 5 сентября 2013 г., CrowdFlower Inc.), где описаны способ и система для формирования и распределения задач исполнителям с целью оптимизации процесса классификации продуктов на интерактивной торговой площадке, для формирования и распределения задач исполнителям с целью поисковой оптимизации веб-сайта и/или для формирования и распределения задач исполнителям с целью проверки и улучшения коммерческой информации. Результаты от нескольких исполнителей могут объединяться с целью улучшения или исправления информации на веб-сайте, структуры веб-сайта или другой коммерческой информации для улучшения позиции веб-сайта в результатах поиска и/или для улучшения восприятия пользователем.

[004] Несмотря на то, что существующие системы и способы краудсорсинга могут быть пригодны для использования по назначению, в некоторых ситуациях для них характерны недостатки. Например, в по меньшей мере некоторых случаях использование известных способов и систем требует относительно больших затрат. Кроме того, в по меньшей мере некоторых случаях известные способы и системы требуют относительно много времени для выполнения краудсорсинговых задач.

Раскрытие изобретения

[005] Безотносительно какой-либо конкретной теории разработчики настоящей технологии установили, что в по меньшей мере некоторых случаях известным способам и системам присущи недостатки.

[006] Настоящая технология разработана с целью усовершенствования по меньшей мере одного аспекта, известного из уровня техники, или различных сочетаний таких аспектов в некоторых вариантах осуществления.

[007] Вкратце, в настоящей технологии используется оценщик на основе алгоритма машинного бучения (MLA, Machine Learning Algorithm) для проверки одного или нескольких экспертов. В по меньшей мере некоторых случаях и для по меньшей мере некоторых вариантов применения это позволяет уменьшить количество используемых экспертов. В по меньшей мере некоторых случаях этот подход более эффективен с точки зрения затрат времени, чем известные способы и системы для краудсорсинга, и при этом обеспечивает достижение требуемого порогового уровня достоверности результатов. В по меньшей мере некоторых случаях этот подход более экономически эффективен, чем известные способы и системы для краудсорсинга, и при этом обеспечивает достижение требуемого порогового уровня достоверности результатов.

[008] В частности, согласно настоящей технологии, для выполнения задач требуемых видов формируются и обучаются один или несколько алгоритмов MLA, которые могут реализовываться сервером. На этапе использования каждая из задач во время по меньшей мере одной итерации отправляется соответствующему одному или нескольким алгоритмам MLA (одному алгоритму MLA в тех вариантах осуществления, где для задачи данного вида используется один алгоритм MLA) и эксперту. Во время первой итерации алгоритм MLA и эксперт выполняют задачу и передают соответствующие результаты, полученные для этой задачи. На основе этих результатов реализованный согласно настоящей технологии сервер определяет параметр уровня достоверности, указывающий вероятность того, что эксперт предоставил правильный результат, и сравнивает указанную вероятность с заранее заданной пороговой вероятностью.

[009] Если заранее заданная пороговая вероятность превышена, сервер обрабатывает задачу как выполненную с результатом, предоставленным экспертом. В противном случае сервер выполняет одну или несколько дополнительных итераций путем отправки этой задачи дополнительному одному или нескольким экспертам. Во время по меньшей мере каждой из дополнительных итераций, а в некоторых вариантах осуществления изобретения также и во время первой итерации, сервер определяет взвешенный мажоритарный результат, указывающий на предварительное определение возможного правильного результата для этой задачи. Во время каждой дополнительной итерации сервер определяет новый соответствующий параметр уровня достоверности на основе взвешенного мажоритарного результата и проверяет, превышает ли вероятность, указанная новым соответствующим параметром уровня достоверности, заранее заданную пороговую вероятность.

[0010] Сервер продолжает выполнять итерации, пока не будет превышена заранее заданная пороговая вероятность. Если заранее заданная пороговая вероятность превышена во время некоторой итерации, сервер обрабатывает задачу как выполненную с результатом, представленным взвешенным мажоритарным результатом. В некоторых не имеющих ограничительного характера вариантах осуществления изобретения сервер дополнительно настраивается с заранее заданным нижним и/или верхним пределом для количества выполняемых итераций. По меньшей мере в некоторых не имеющих ограничительного характера вариантах осуществления изобретения эти пределы может корректировать, например, администратор сервера.

[0011] В по меньшей мере некоторых случаях соответствующие настоящей технологии способы и серверы могут использоваться, чтобы более эффективно с точки зрения затрат времени и стоимости отфильтровывать недопустимый контент, такой как контент для взрослых, от различных поставщиков услуг поиска, например, чтобы обеспечивать для таких поставщиков услуг поиска «безопасные для детей» режимы просмотра. Возможны и другие варианты применения настоящей технологии.

[0012] В связи с вышеизложенным и в соответствии с первым аспектом настоящей технологии реализован реализуемый на сервере способ выполнения задачи определенного вида. Способ включает в себя: прием сервером указания на первый результат задачи, выполненной экспертом, при этом оценка качества эксперта указывает надежность первого результата; реализацию сервером алгоритма MLA с целью выполнения алгоритмом MLA задачи для формирования второго результата задачи, при этом оценка качества алгоритма MLA указывает надежность второго результата; и определение сервером параметра уровня достоверности, указывающего вероятность правильности первого результата, на основе первого результата, второго результата, оценки качества эксперта и оценки качества алгоритма MLA.

[0013] Способ дополнительно включает в себя определение сервером превышения вероятностью, указанной определенным параметром уровня достоверности, заранее заданной пороговой вероятности и обработку сервером задачи как выполненной с первым результатом, если определено, что вероятность, указанная определенным параметром уровня достоверности, превышает заранее заданную пороговую вероятность.

[0014] В некоторых вариантах осуществления изобретения способ дополнительно включает в себя определение взвешенного мажоритарного результата на основе первого результата и второго результата, а определение параметра уровня достоверности дополнительно основано на этом взвешенном мажоритарном результате. [0015] В некоторых вариантах осуществления изобретения определение взвешенного мажоритарного результата включает в себя определение совпадения второго результата и первого результата.

[0016] В некоторых вариантах осуществления изобретения способ дополнительно включает в себя определение сервером параметра вероятности ошибки, связанного с экспертом и указывающего вероятность ошибочности первого результата, и параметра вероятности ошибки, связанного с алгоритмом MLA и указывающего вероятность ошибочности второго результата. В некоторых таких вариантах осуществления изобретения определение параметра уровня достоверности дополнительно основано на параметре вероятности ошибки, связанном с экспертом, и на параметре вероятности ошибки, связанном с алгоритмом MLA.

[0017] В некоторых вариантах осуществления изобретения определение параметра уровня достоверности включает в себя реализацию сервером байесовской функции, входные данные которой содержат: параметр вероятности ошибки, связанный с экспертом, параметр вероятности ошибки, связанный с алгоритмом MLA, оценку качества эксперта и оценку качества алгоритма MLA.

[0018] В некоторых вариантах осуществления изобретения определение параметра вероятности ошибки, связанного с алгоритмом MLA, основано на оценке качества алгоритма MLA, а определение параметра вероятности ошибки, связанного с экспертом, основано на оценке качества эксперта.

[0019] В некоторых вариантах осуществления изобретения способ до определения параметра уровня достоверности дополнительно включает в себя определение сервером оценки качества эксперта на основе первого множества тестовых задач, выполненных экспертом и имеющих заранее заданный результат, доступный серверу, и оценки качества алгоритма MLA на основе второго множества тестовых задач, выполненных алгоритмом MLA⁺ и имеющих заранее заданный результат, доступный серверу.

[0020] В некоторых вариантах осуществления изобретения алгоритм MLA обучается на наборе обучающих задач, каждая из которых представляет собой задачу определенного вида и имеет заранее заданный результат, выполняет несколько тестовых задач с заранее заданными тестовыми результатами и после выполнения нескольких тестовых задач предоставляет несколько тестовых результатов. В некоторых таких вариантах осуществления изобретения оценка качества алгоритма MLA определяется в виде процентной доли выданных алгоритмом MLA тестовых результатов, совпадающих с соответствующим заранее заданным тестовым результатом.

[0021] В некоторых вариантах осуществления изобретения способ дополнительно включает в себя отправку сервером эксперту задачи для ее выполнения с целью формирования первого результата.

[0022] В некоторых вариантах осуществления изобретения способ до приема указания на первый результат дополнительно включает в себя выбор сервером эксперта из пула экспертов на основе оценки качества эксперта так, чтобы оценка качества эксперта превышала заранее заданный порог оценки качества.

[0023] В некоторых вариантах осуществления изобретения задача представляет собой задачу классификации, задачу оценивания веб-страницы, задачу анализа результата поиска, задачу, связанную с исследованием, задачу, связанную с запросом релевантности, задачу анализа описания продукта или задачу анализа документа.

[0024] В некоторых вариантах осуществления изобретения задача включает в себя оценивание характеристики документа.

[0025] В некоторых вариантах осуществления изобретения задача включает в себя выбор характеристики из множества различных возможных характеристик, связанных с документом.

[0026] В некоторых вариантах осуществления изобретения документ содержит по меньшей мере одно из следующего: изображение, текст, по меньшей мере часть веб-страницы, результат поиска, пользовательский интерфейс, по меньшей мере часть исследования, запрос релевантности и описание продукта.

[0027] В некоторых вариантах осуществления изобретения параметр уровня достоверности представляет собой первый параметр уровня достоверности и если определено, что вероятность, указанная первым параметром уровня достоверности, меньше заранее заданной пороговой вероятности, способ дополнительно включает в себя: прием сервером указания на по меньшей мере один дополнительный результат задачи, выполненной по меньшей мере одним дополнительным экспертом, при этом оценка качества эксперта указывает надежность по меньшей мере одного дополнительного результата; определение сервером взвешенного мажоритарного результата задачи на основе (а) первого результата, (б) второго результата, (в) по меньшей мере одного дополнительного результата и (г) оценки качества, соответствующей первому результату, второму результату и по меньшей мере одному дополнительному результату, при этом взвешенный мажоритарный результат представляет собой результат, имеющий наибольшую совокупную оценку качества и представляющий собой первый результат и/или второй результат и/или по меньшей мере один дополнительный результат; и определение сервером второго параметра уровня достоверности, указывающего вероятность правильности взвешенного мажоритарного результата.

[0028] В некоторых таких вариантах осуществления изобретения способ дополнительно включает в себя обработку сервером задачи как выполненной со взвешенным мажоритарным результатом, если определено, что вероятность, указанная вторым параметром уровня достоверности, превышает заранее заданную пороговую вероятность.

[0029] В некоторых вариантах осуществления изобретения определение взвешенного мажоритарного результата включает в себя: определение по меньшей мере двух различных групп результатов, каждая из которых содержит совпадающие результаты из числа первого результата, второго результата и по меньшей мере одного дополнительного результата; определение для каждой группы из этих по меньшей мере двух различных групп результатов совокупной оценки качества на основе оценки качества каждого результата в этой группе результатов; выбор из этих по меньшей мере двух различных групп одной группы, имеющей наибольшую совокупную оценку качества из совокупных оценок качества этих по меньшей мере двух различных групп результатов; и назначение результата, представленного выбранной группой результатов, в качестве взвешенного мажоритарного результата.

[0030] В некоторых вариантах осуществления изобретения определение второго параметра уровня достоверности основано на оценке качества каждого результата в выбранной группе результатов.

[0031] В некоторых вариантах осуществления изобретения определение второго параметра уровня достоверности включает в себя определение сервером параметра вероятности ошибки, связанного с каждым результатом из группы, отличной от выбранной группы результатов, и указывающего вероятность ошибочности связанного с ним результата. В некоторых таких вариантах осуществления изобретения определение второго параметра уровня достоверности дополнительно основано на каждом определенном параметре вероятности ошибки.

[0032] В некоторых вариантах осуществления изобретения определение параметра уровня достоверности включает в себя реализацию сервером байесовской функции с каждым определенным параметром вероятности ошибки в качестве входных данных байесовской функции.

[0033] В некоторых вариантах осуществления изобретения алгоритм MLA обучается на наборе обучающих задач, каждая из которых представляет собой задачу определенного вида и имеет заранее заданный результат, выполняет несколько тестовых задач с заранее заданными тестовыми результатами и после выполнения нескольких тестовых задач предоставляет несколько тестовых результатов. В некоторых таких вариантах осуществления изобретения оценка качества алгоритма MLA определяется в виде процентной доли выданных алгоритмом MLA тестовых результатов, совпадающих с соответствующим заранее заданным тестовым результатом.

[0034] В некоторых вариантах осуществления изобретения способ до определения второго параметра уровня достоверности дополнительно включает в себя определение сервером оценки качества каждого конкретного эксперта из числа эксперта и по меньшей мере одного дополнительного эксперта на основе множества тестовых задач, выполненных этим конкретным экспертом и имеющих заранее заданный результат, доступный серверу.

[0035] Согласно другому аспекту настоящей технологии реализован сервер для выполнения задачи определенного вида, содержащий процессор и связанную с процессором физическую память, хранящую команды, которые при исполнении процессором инициируют выполнение сервером следующих действий: прием указания на первый результат задачи, выполненной экспертом, при этом оценка качества эксперта указывает надежность первого результата; реализация алгоритма MLA с целью выполнения алгоритмом MLA задачи для формирования второго результата задачи, при этом оценка качества алгоритма MLA указывает надежность второго результата; определение параметра уровня достоверности, указывающего вероятность правильности первого результата, на основе первого результата, второго результата, оценки качества эксперта и оценки качества алгоритма MLA; определение превышения вероятностью, указанной определенным параметром уровня достоверности, заранее заданной пороговой вероятности; и обработка задачи как выполненной с первым результатом, если определено, что вероятность, указанная определенным параметром уровня достоверности, превышает заранее заданную пороговую вероятность.

Краткое описание чертежей

[0036] Эти и другие признаки, аспекты и преимущества настоящей технологии разъяснены в дальнейшем описании, приложенной формуле изобретения и следующих чертежах.

[0037] На фиг. 1 представлена схема системы, пригодной для осуществления вариантов настоящей технологии, не имеющих ограничительного характера.

[0038] На фиг. 2 представлена фотография изображения, в отношении которого может быть выполнен не имеющий ограничительного характера пример способа, соответствующего настоящей технологии.

[0039] На фиг. 3 приведена блок-схема реализованного согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии способа, выполняемого представленной на фиг. 1 системой.

[0040] На фиг. 4 приведена блок-схема возможного продолжения способа, представленного на фиг. 3.

Осуществление изобретения

[0041] На фиг. 1 представлена схема системы 100, пригодной для реализации вариантов осуществления настоящей технологии, не имеющих ограничительного характера. Система 100 приведена лишь для демонстрации варианта реализации настоящей технологии. Дальнейшее описание системы 100 и способов, которые могут выполняться системой 100, представляет собой описание примеров, иллюстрирующих данную технологию. Это описание не предназначено для определения объема или границ настоящей технологии.

[0042] В некоторых случаях приводятся полезные примеры модификаций системы 100 и/или способов. Они способствуют пониманию, но также не определяют объема или границ данной технологии. Эти модификации не составляют исчерпывающего перечня. Как должно быть понятно специалисту в данной области, вероятно, возможны и другие модификации. Кроме того, если в некоторых случаях модификации не описаны (т.е. примеры модификаций отсутствуют), это не означает, что они невозможны и/или что описание содержит единственный вариант реализации того или иного элемента настоящей технологии. Специалисту в данной области должно быть понятно, что это не так.

[0043] Кроме того, следует понимать, что система 100 в некоторых случаях может представлять собой упрощенную реализацию настоящей технологии, и что такие варианты представлены для того, чтобы способствовать лучшему ее пониманию. Специалисту в данной области должно быть понятно, что различные варианты осуществления данной технологии могут быть значительно сложнее.

[0044] Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, система 100 содержит сервер 101 и базу 105 данных, доступную серверу 101.

[0045] Как схематически показано на фиг. 1, база 105 данных содержит указания на личности из пула экспертов 104, указавших свою готовность выполнить краудсорсинговую задачу по меньшей мере одного вида. Информация, касающаяся экспертов 104, схематически представлена на фиг. 1 просто в виде изображений экспертов 104 в базе 105 данных.

[0046] На реализацию базы 105 данных не накладывается каких-либо особых ограничений. База 105 данных может быть реализована с использованием любой подходящей известной технологии, обеспечивающей описанные здесь функции. Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, база 105 данных является удаленной по отношению к серверу 101, управляется удаленным сервером 107 и доступна серверу 101 через сеть 114 связи. На удаленный сервер 107 не накладывается каких-либо особых ограничений, он может представлять собой любой традиционный сервер, подходящий для ведения базы 105 данных. Поэтому удаленный сервер 107 здесь подробно не описан.

[0047] Предполагается, что база 105 данных может по меньшей мере частично храниться на сервере 101 и/или в любом другом одном или нескольких местах и/или по меньшей мере частично управляться сервером 101. Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, база 105 данных содержит информацию, связанную с личностью по меньшей мере некоторых экспертов 104 и достаточную для того, чтобы обратившийся к базе 105 данных элемент, такой как сервер 101, мог отправить одну или несколько задач для выполнения одним или несколькими экспертами 104.

[0048] Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, в базе 105 данных хранится оценка 109 качества, связанная с каждым из экспертов 104. Оценка 109 качества каждого эксперта 104 указывает надежность результата задачи, выполненной экспертом 104, или, иными словами, вероятность правильности результата выполнения задачи. Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, оценки 109 качества экспертов 104 определяются следующим образом. Каждый эксперт 104 выполняет первое множество тестовых задач. В настоящем документе термин «тестовая задача» означает задачу, правильный результат которой известен до ее отправки для выполнения эксперту 104, который тестируется или оценивается для определения связанной с ним оценки качества, при этом правильный результат не сообщается этому одному или нескольким оцениваемым экспертам 104.

[0049] Результаты первого множества тестовых задач, предоставленные экспертами 104, регистрируются в базе 105 данных в подходящей структуре данных (не показана). Для каждого эксперта 104 процентная доля правильно выполненных этим экспертом 104 задач из первого множества тестовых задач рассчитывается и регистрируется в базе 105 данных в виде оценки 109 качества этого эксперта 104. Например, если эксперт 104 выполняет 20 тестовых задач и предоставляет результат, совпадающий с соответствующим известным правильным результатом, для 18 из 20 тестовых задач, то оценка 109 качества этого эксперта 104 определяется следующим образом: 18/20 = 0,9 (90%).

[0050] Как описано выше, база 105 данных содержит указание на пул экспертов 104. Кроме того, в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии база 105 данных сопоставляет хранящуюся информацию, связанную с каждым из доступных экспертов 104, с одной группой 117 надежности из множества различных групп 117 надежности. Каждая группа 117 надежности из множества различных групп 117 надежности соответствует диапазону оценок 109 качества. Например, в одной из групп 117 надежности может храниться информация, связанная с доступными экспертами 104, имеющими оценку 109 качества в диапазоне от 60% до 70%. В другой группе 117 надежности может храниться информация, связанная с доступными экспертами 104, имеющими оценку 109 качества в диапазоне от 70% до 80% и т.д. По меньшей мере одна из групп 117 надежности может представлять собой так называемую группу «надежных экспертов» и может хранить информацию, связанную с доступными экспертами 104, имеющими оценку 109 качества, превышающую 90%.

[0051] Эти конкретные диапазоны оценок качества представляют собой не имеющие ограничительного характера примеры и могут отличаться в зависимости от конкретного варианта применения настоящей технологии. В некоторых вариантах осуществления изобретения эти диапазоны могут изменяться, например, администратором сервера 101 или составителями запросов, которым доступен сервер 101. Кроме того, в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии в базе 105 данных также хранится информация о ценах, связанная с доступными экспертами 104. В некоторых вариантах осуществления изобретения информация о ценах включает в себя указание на заработную плату или вознаграждение, которое каждый доступный эксперт 104 определил в качестве минимальной оплаты для задачи, выполненной этим доступным экспертом 104.

[0052] В любой момент времени пул экспертов 104 может содержать различное количество экспертов 104, например 50 экспертов 104, доступных для выполнения задач и имеющих соответствующие оценки 109 качества в диапазоне от 0% до 100%. Пул экспертов 104 может содержать большее или меньшее количество экспертов 104. Также предполагается, что база 105 данных может содержать множество указаний на различные пулы экспертов 104, которые могут быть доступны серверу 101. Каждый пул экспертов 104 может, например, предназначаться для выполнения задач конкретного вида. Далее описан сервер 101.

[0053] Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, сервер 101 способен выполнять различные задачи по меньшей мере одного вида, для которых доступен по меньшей мере один эксперт 104. Задача может представлять собой, например, задачу классификации, задачу оценивания веб-страницы, задачу анализа результата поиска, задачу, связанную с исследованием, задачу, связанную с запросом релевантности, задачу анализа описания продукта или задачу анализа документа. Задача может включать в себя оценивание характеристик документа, например его категории, в частности, выбор характеристики из множества различных возможных характеристик, связанных с документом. Такой документ может, например, содержать по меньшей мере одно из следующего: изображение, текст, по меньшей мере часть веб-страницы, результат поиска, пользовательский интерфейс, по меньшей мере часть исследования, запрос релевантности и описание продукта. Один не имеющий ограничительного характера пример такого документа представлен на фиг. 2. В таком варианте осуществления изобретения задача, связанная с представленным на фиг. 2 документом, включает в себя классификацию документа с целью определения принадлежности документа к одной из взаимоисключающих категорий: категории А («контент для несовершеннолетних») или категории Б («контент для взрослых»).

[0054] В некоторых вариантах осуществления изобретения различные задачи, которые способен выполнять сервер 101, включают в себя задачи различных видов. В некоторых вариантах осуществления изобретения все задачи относятся к одному и тому же виду задач. В настоящем документе для иллюстрации настоящей технологии используется описание задач одного вида, ориентированных на одну задачу классификации, которая должна выполняться сервером 101. В используемом в настоящем документе примере задачи классификации, не имеющем ограничительного характера, требуется определение категории изображения 103, пример которого представлен на фиг. 2. В этом примере изображение 103 представляет собой фотографию цветка. Задача заключается в том, чтобы определить, содержит ли изображение 103 контент для взрослых. С этой целью в данном не имеющем ограничительного характера примере предусмотрены две возможных категории, к которым может относиться изображение 103: категория А («контент для несовершеннолетних») и категория Б («контент для взрослых»).

[0055] Кроме того, в настоящем примере определение категории изображений 103 должно быть связано с уровнем достоверности правильности такого определения, превышающим заранее заданный минимальный требуемый уровень достоверности. В частности, в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии уровень достоверности должен превышать заранее заданную пороговую вероятность (представленную параметром EPS в соответствии с не имеющими ограничительного характера вариантами осуществления настоящей технологии), чтобы определение категории изображения 103 считалось достаточно надежным. В частности, в этом не имеющем ограничительного характера примере определение должно быть таким, чтобы категория была правильно определена по меньшей мере для 92% изображений 103 (т.е. EPS=0,92). Следует отметить, что значение 92% приведено лишь для примера и значение EPS может быть заранее задано в виде другого значения или может изменяться. Также предполагается, что заранее заданная пороговая вероятность (EPS) может быть определена по-разному, например, для различных задач, или любым другим способом в зависимости от конкретного варианта применения сервера 101 и описанных здесь способов.

[0056] В примере осуществления настоящей технологии сервер 101 реализован в виде сервера Dell™ PowerEdge™, работающего под управлением операционной системы Microsoft™ Windows Server™. Очевидно, что сервер 101 может быть реализован с использованием любых других подходящих аппаратных средств и/или прикладного программного обеспечения и/или встроенного программного обеспечения либо их сочетания при условии, что его конфигурация и функции соответствуют настоящему документу. В представленном не имеющем ограничительного характера варианте осуществления настоящей технологии сервер 101 представляет собой один сервер. В некоторых альтернативных не имеющих ограничительного характера вариантах осуществления настоящей технологии функции-сервера 101 распределены и/или реализованы с использованием нескольких серверов. В некоторых вариантах осуществления настоящей технологии сервер 101 эксплуатируется оператором поисковой системы, таким как оператор поисковой системы Yandex™. Предполагается, что сервер 101 может эксплуатироваться любой другой организацией, например, другим оператором поисковой системы и т.д.

[0057] Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, сервер 101 содержит интерфейс 111 связи, структура и настройки которого позволяют осуществлять связь с различными элементами через сеть 114 связи. Примеры различных элементов включают в себя базу 105 данных, соответствующие электронные устройства 118 экспертов 104 и другие устройства, которые могут быть связаны с сетью 114 связи. Сервер 101 дополнительно содержит по меньшей мере один процессор 106, связанный с интерфейсом 111 связи, структура и настройки которого позволяют выполнять описанные здесь различные шаги, способы и процессы. Сервер 101 дополнительно содержит связанную с по меньшей мере одним процессором 106 физическую память 108, хранящую команды, которые при исполнении процессором 106 инициируют выполнение сервером 101 различных описанных здесь шагов, способов и процессов.

[0058] Сервер 101 хранит в физической памяти 108 исполняемые компьютером команды, чтобы обеспечить реализацию процессором 106 алгоритма 110 MLA. Предполагается, что алгоритм 110 MLA может по меньшей мере частично храниться удаленно от сервера 101, например, на другом сервере, и в то же время быть доступным и выполняться по меньшей мере одним процессором 106 и, следовательно, сервером 101. Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, алгоритм 110 MLA обучен (заранее) на наборе обучающих задач, каждая из которых относится к виду (или нескольким видам) задач, которые способен выполнять сервер 101, и имеет заранее заданный правильный результат.

[0059] В настоящем примере с задачей определения одной из двух возможных категорий изображения 103 алгоритм 110 MLA обучен на наборе обучающих задач классификации изображений с теми же возможными категориями и известной правильной категорией. В частности, в этом не имеющем ограничительного характера примере обучающие изображения включают в себя изображения, о которых известно, что они относятся к категории А «контент для несовершеннолетних», и изображения, о которых известно, что они относятся к категории Б «контент для взрослых». С использованием обучающих изображений в качестве обучающих объектов алгоритм 110 MLA «обучается» определять, относится изображение неизвестной категории к категории А или к категории Б.

[0060] В некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии алгоритм 110 MLA дополнительно связан с оценкой 115 качества. С этой целью алгоритм 110 MLA выполняет второе множество тестовых задач с заранее заданными правильными тестовыми результатами для определения точности или надежности ответов, предоставляемых обученным алгоритмом 110 MLA. В настоящем примере второе множество тестовых задач содержит изображения, отличающиеся от обучающих изображений и относящиеся как к категории А «контент для несовершеннолетних», так и к категории Б «контент для взрослых».

[0061] Выполнив по меньшей мере несколько задач из второго множества тестовых задач, алгоритм 110 MLA предоставляет несколько тестовых результатов: по одному результату для каждой соответствующей задачи из числа нескольких задач из второго множества тестовых задач. В настоящем примере каждое из тестовых изображений (задач) подается в алгоритм 110 MLA и для каждого из изображений алгоритм 110 MLA предоставляет указание на принадлежность изображений к категории А или к категории Б. Такие указания здесь называются тестовыми результатами.

[0062] Затем эти тестовые результаты от алгоритма 110 MLA используются для определения оценки 115 качества алгоритма 110 MLA. Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, оценка 115 качества алгоритма 110 MLA сохраняется в физической памяти 108 и определяется в виде процентной доли тестовых результатов, выданных алгоритмом 110 MLA для нескольких задач из второго множества тестовых задач и совпадающих с соответствующим заранее заданным тестовым результатом.

[0063] В настоящем примере можно предположить, что алгоритм 110 MLA классифицирует каждое изображение из 100 тестовых изображений как относящееся или к категории А, или к категории Б. Затем результат классификации алгоритмом 110 MLA каждого тестового изображения из 100 тестовых изображений сравнивается с известной категорией тестового изображения, например, экспертами или любым подходящим известным алгоритмом сравнения, выполняемым в любом подходящем электронном устройстве.

[0064] Затем в физической памяти 108 сервера 101 (также может использоваться любое другое подходящее место, доступное серверу 101) для каждого изображения из 100 тестовых изображений регистрируется выдача алгоритмом 110 MLA правильной или неправильной категории.

[0065] Затем общая процентная доля правильных классификаций определяется и сохраняется в виде оценки 115 качества алгоритма 110 MLA. Например, можно предположить, что алгоритм 100 MLA правильно классифицировал 70 из 100 изображений. В таком случае оценка качества алгоритма 110 MLA составляет: 70/100 = 0,7 (70%). Указанное выше количество тестовых задач использовано только в качестве не имеющего ограничительного характера примера, оно может отличаться в зависимости от варианта применения сервера 101 и описанных здесь способов.

[0066] В результате выполнения описанных выше шагов обучения и определения оценки 115 качества алгоритм 110 MLA может считаться обученным относить изображения неизвестной категории к категории А или к категории Б. Соответственно, исходя из представленного выше примера, можно сказать, что в этот момент сервер 101 способен реализовать алгоритм 110 MLA, чтобы определять категорию неизвестного изображения с предполагаемым уровнем достоверности 70%.

[0067] Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, в дополнение к возможности выполнения задачи классификации изображения, сервер 101 способен отправить задачу классификации изображения по меньшей мере одному эксперту 104 из пула экспертов 104, доступных с использованием базы 195 данных. В частности, сервер 101 способен принять изображение, такое как изображение 103, из любого подходящего источника, такого как поисковая система Yandex™, с которым может быть связан сервер 101, и, например, через сеть 114 связи отправить это изображение электронному устройству 118, используемому по меньшей мере одним экспертом 104, для выполнения задачи.

[0068] Предполагается, что для этой цели может быть использована любая подходящая технология и/или среда передачи файлов. Также предполагается, что задача может быть отправлена по меньшей мере одному эксперту 104 с использованием любого другого подходящего способа, такого как обеспечение удаленного доступа к задаче для по меньшей мере одного эксперта 104. Также предполагается, что элемент, отличный от сервера 101, такой как удаленный сервер 107, также может быть использован для отправки задач по меньшей мере одному эксперту 104.

[0069] Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, сервер 101 способен принять указание на результат задачи классификации изображения, выполненной по меньшей мере одним экспертом 104. Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, указание на результат может быть принято сервером 101 в одном или нескольких пакетах 120 данных, например, через сеть 114 связи. Тем не менее, предполагается, что могут использоваться любые другие подходящие средства передачи данных.

[0070] Сервер 101 также способен реализовать алгоритм 110 MLA, как описано выше, чтобы выполнить задачу классификации изображения, которая отправлена или должна быть отправлена по меньшей мере одному эксперту 104, и чтобы принять указание на результат задачи классификации изображения, выполненной алгоритмом 110 MLA. Подобно приему указаний на результаты от экспертов 104, указание на результаты от алгоритма 110 MLA может быть сформировано и отправлено с использованием любой подходящей технологии, обеспечивающей функции, описанные в этом документе.

[0071] Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, сервер 101 способен определить для каждой задачи параметр (a_j) уровня достоверности, указывающий вероятность правильности результата задачи, предоставленного по меньшей мере одним экспертом 104. Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, сервер 101 определяет параметр (a_j) уровня достоверности на основе результата задачи, предоставленного по меньшей мере одним экспертом 104, результата задачи, предоставленного алгоритмом 110 MLA, оценки 109 качества по меньшей мере одного эксперта 104 и оценки 115 качества алгоритма 110 MLA.

[0072] Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, сервер 101 способен определить параметр (a_j) уровня достоверности на первом шаге, называемом в данном документе априорным определением, за которым следует второй шаг, называемый в данном документе апостериорным определением. Далее описаны эти шаги.

[0073] Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, на первом шаге априорного определения сервер 101 определяет весовой коэффициент (q_w) результата, предоставленного каждым экспертом 104 и алгоритмом 110 MLA. Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, весовой коэффициент (q_w) указывает вероятность правильности соответствующего результата, а каждый из по меньшей мере одного эксперта 104 и алгоритма 110 MLA рассматривается как оценщик (w₁, w₂, … w_n). На основе этого весовой коэффициент (q_w) результата, предоставленного одним из оценщиков (w₁, w₂, … w_n), рассчитывается в соответствии со следующей формулой или функцией:

[0074] где для некоторого оценщика (w): c_w - количество предоставленных оценщиком (w) правильных тестовых результатов из общего количества результатов (t_w) для тестовых задач, выполненных оценщиком (w); K - параметр для сглаживания результата расчета весового коэффициента (q_w). Согласно по меньшей мере некоторым из не имеющих ограничительного характера вариантов осуществления настоящей технологии, K=10. Предполагается, что в зависимости от варианта применения сервера 101, параметру K, например, могут быть заданы различные значения или он может изменяться. Также предполагается, что весовой коэффициент (q_w) для каждого из оценщиков (w₁, w₂, … w_n) может быть рассчитан другим способом.

[0075] Затем на основе результата задачи, предоставленного каждым из по меньшей мере одного эксперта 104, и результата задачи, предоставленного алгоритмом 110 MLA, определяется взвешенный мажоритарный результат Предполагается, что в некоторых вариантах осуществления изобретения этот шаг может отсутствовать или он может отличаться. Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, взвешенный мажоритарный результат представляет собой результат, с которым связана наибольшая совокупная оценка качества. Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, взвешенный мажоритарный результат определяется сервером 101 в соответствии со следующей формулой или функцией:

где - коллекция результатов (y_j) задачи, предоставленных по меньшей мере одним экспертом 104 и алгоритмом 110 MLA, каждый из которых рассматривается как оценщик (w₁, w₂, … w_n); Y представляет различные возможные результаты выполнения задачи (в представленном не имеющем ограничительного характера примере - возможные категории А и В); (q_wi) - весовой коэффициент, назначенный результату, предоставленному оценщиком (w_i); I(…) - индикаторная функция (индикаторная функция равна 1 для варианта «истина» и равна 0 для варианта «ложь»).

[0076] Затем сервер 101 выполняет апостериорное определение, чтобы определить вероятность правильности взвешенного мажоритарного результата Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, при апостериорном определении сервер 101 способен определить параметр (a_j) уровня достоверности, указывающий вероятность правильности взвешенного мажоритарного результата на основе следующей байесовской функции:

[0077] В некоторых вариантах осуществления изобретения, в которых шаг определения взвешенного мажоритарного результата отсутствует, на первом шаге, где задача отправляется первому эксперту 104₁, априорно правильным результатом считается результат, предоставленный первым экспертом 104₁, а параметр (a_j) уровня достоверности рассчитывается непосредственно для результата, предоставленного первым экспертом 104₁, например, с использованием той же байесовской функции.

[0078] В настоящем виде байесовской функции (см. выше формулу (3)) представляет собой априорное распределение результатов задачи. Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, это распределение определено как равномерное. Таким образом, настоящий вид байесовской функции запрограммирован с использованием команд в физической памяти 108 сервера 101 в виде следующей байесовской функции:

[0079] Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, в представленной выше функции определено, что оценщик (w_i) предоставляет правильный результат для задачи с вероятностью (q_wi) и предоставляет любой другой результат для задачи с вероятностью . Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, параметр (e_w) представляет собой параметр вероятности ошибки, а функция I(…) представляет собой индикаторную функцию, которая равна 1 для варианта «истина» и равна 0 для варианта «ложь».

[0080] После определения параметра (a_j) уровня достоверности на основе представленной выше формулы с использованием определения взвешенного мажоритарного результата или без него сервер 101 определяет, например, с помощью подходящего алгоритма сравнения, превышает ли вероятность, указанная определенным параметром (a_j) уровня достоверности, заранее заданную пороговую вероятность (EPS), описанную выше. Если вероятность, указанная определенным параметром (a_j) уровня достоверности, превышает заранее заданную пороговую вероятность (EPS) (т.е. a_j > EPS), то сервер 101 обрабатывает задачу как выполненную со взвешенным мажоритарным результатом в случаях, когда взвешенный мажоритарный результат определен, или с первым результатом (в этом случае результат представляет собой первый результат), предоставленным первым экспертом 104₁ во время первой итерации, в случаях, когда взвешенный мажоритарный результат не определялся. Когда задача обработана как выполненная, она больше не отправляется для выполнения дополнительным экспертам.

[0081] Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, если вероятность, указанная определенным параметром (a_j) уровня достоверности, не превышает заранее заданную пороговую вероятность (EPS) (т.е. если a_j < EPS или если a_j = EPS), то сервер 101 дополнительно способен отправить задачу по меньшей мере одному дополнительному эксперту 104 из пула экспертов 104, принять указание на по меньшей мере один дополнительный результат задачи, выполненной по меньшей мере одним дополнительным экспертом 104, и для нового набора результатов задачи определить взвешенный мажоритарный результат и параметр (a_j) уровня достоверности на основе алгоритма и функций, как описано выше. Затем сервер 101 определяет, превышает ли новый параметр (a_j) уровня достоверности заранее заданную пороговую вероятность (EPS).

[0082] Если новый параметр (a_j) уровня достоверности превышает заранее заданную пороговую вероятность (EPS), то сервер 101 обрабатывает задачу как выполненную со взвешенным мажоритарным результатом , определенным на второй итерации. Если задача обработана как выполненная, она больше не отправляется для выполнения дополнительным экспертам. На второй итерации взвешенный мажоритарный результат может представлять собой либо первый результат, предоставленный экспертом 104₁, либо результат, предоставленный алгоритмом 110 MLA и по меньшей мере одним дополнительным экспертом 104, в зависимости от того, какие результаты из нового набора результатов совпадают.

[0083] Если на второй итерации новый параметр (a_j) уровня достоверности не превышает заранее заданной пороговой вероятности (EPS), то сервер 101 снова отправляет задачу другому по меньшей мере одному эксперту 104 из пула экспертов 104 и принимает указание на по меньшей мере один дополнительный результат задачи, выполненной другим по меньшей мере одним экспертом 104. Затем для набора результатов задачи сервер 101 снова определяет взвешенный мажоритарный результат и параметр (a_j) уровня достоверности на основе алгоритма и функций, как описано выше. Сервер 101 продолжает эти итерации, пока не будет определен взвешенный мажоритарный результат и соответствующий параметр (a_j) уровня достоверности, превышающий заранее заданную пороговую вероятность (EPS). В этот момент сервер 101 обрабатывает задачу как выполненную со взвешенным мажоритарным результатом , соответствующим параметру (a_j) уровня достоверности, который превышает заранее заданную пороговую вероятность (EPS).

[0084] Сервер 101 может выполнять множество задач, как указано выше, параллельно, последовательно или с использованием сочетания параллельной и последовательной обработки. Например, в некоторых не имеющих ограничительного характера вариантах осуществления настоящей технологии сервер 101 реализует множество алгоритмов 110 MLA. В некоторых таких вариантах осуществления изобретения задачи отправляются для выполнения алгоритмам 100 MLA параллельно (т.е. одновременно). Например, первая задача может быть отправлена первому алгоритму MLA (не показан) из алгоритмов 110 MLA и первому эксперту 104₁, а вторая может быть отправлена второму алгоритму MLA (не показан) из алгоритмов 110 MLA и второму эксперту 104₂ и т.д. В некоторых не имеющих ограничительного характера вариантах осуществления изобретения все алгоритмы 110 MLA обучены выполнять задачу одного вида. В других не имеющих ограничительного характера вариантах осуществления изобретения алгоритмы 110 MLA обучены выполнять множество задач различных видов и могут включать в себя алгоритмы MLA различных видов.

[0085] Предполагается, что в сервере 101 дополнительно могут быть установлены пределы для минимального и максимального количества экспертов 104, которые должны использоваться для конкретной задачи. Такие минимальные и максимальные пределы могут, например, быть определены в виде параметров N_MIN и N_MAX, соответственно. В некоторых вариантах осуществления изобретения параметр N_MIN равен 1, а параметр N_MAX равен 5.

[0086] В таких вариантах осуществления изобретения сервер 101 отправляет задачу по меньшей мере одному эксперту 104 до того, как сервер 101 определяет взвешенный мажоритарный результат , как описано выше, и обрабатывает задачу как выполненную, если после приема указания на результат задачи от пятого эксперта 104 параметр (a_j) уровня достоверности по-прежнему равен или меньше заранее заданной пороговой вероятности (EPS). В некоторых таких случаях сервер 101 способен пометить задачу как невыполнимую и/или как не соответствующую требованиям к заранее заданной пороговой вероятности (EPS). В вариантах осуществления изобретения, где предусмотрены такие минимальный и максимальный пределы, эти пределы могут изменяться, например, администратором сервера 101.

[0087] С использованием описанной выше конфигурации сервера 101 может быть выполнен способ 300 выполнения задачи определенного вида (см. фиг. 3). Как указано выше, задача классификации изображения 103, представленного на фиг. 2, используется для иллюстрации настоящей технологии. Чтобы обеспечить более широкий контекст для способа 300, описан не имеющий ограничительного характера пример применения способа 300. В этом не имеющем ограничительного характера варианте применения способ 300 используется поставщиком услуг поисковой системы, такой как поисковая система 116 Yandex™, доступная на веб-сайте www.yandex.ru, чтобы отфильтровывать недопустимый контент для взрослых из результатов поиска, предоставляемых поисковой системой. Также предполагаются и другие варианты применения.

[0088] В данном примере способ 300 применяется для каждого изображения, проиндексированного поисковой системой 116 Yandex™ с целью потенциального представления возможным пользователям поисковой системы 116 Yandex™, чтобы определить, содержит ли изображение контент для взрослых. Технический результат способа 300 для каждого изображения заключается в том, что способ 300 сообщает результат, указывающий, содержит ли изображение контент для взрослых, при сравнительно меньшем требуемом количестве оценок экспертами 104.

[0089] Изображения, классифицированные как содержащие контент для взрослых, и изображения, которые невозможно классифицировать с достаточной степенью вероятности, индексируются соответствующим образом в индексе поисковой системы 116 Yandex™. Эта информация может, например, использоваться, чтобы отфильтровывать контент для взрослых при предоставлении результатов поиска в так называемом «безопасном для детей» режиме.

[0090] Ниже способ 300 более подробно описан для представленного на фиг. 2 примера изображения 103, которое используется в качестве одного из еще не классифицированных изображений, потенциально доступных пользователям поисковой системы 116 Yandex™.

[0091] Шаг 302: прием сервером указания на первый результат задачи, выполненной экспертом, при этом оценка качества эксперта указывает надежность первого результата.

[0092] Применительно к изображению 103, представленному на фиг. 2, способ 300 может начинаться с шага 302. Шаг может включать в себя прием сервером 101 указания на первый результат задачи (в этом примере задачи классификации изображения 103 как относящегося к категории А или к категории Б), выполненной экспертом 104, при этом оценка качества эксперта указывает надежность первого результата.

[0093] В качестве не имеющего ограничительного характера примера можно предположить, что сервер 101 принял указание, например, в виде одного или нескольких пакетов данных, на первый результат от первого эксперта 104₁ из пула экспертов 104, и это указание на первый результат заключается в том, что изображение 103 не содержит контент для взрослых (т.е. изображение 103 относится к категории А «безопасный контент»).

[0094] Далее в этом примере можно предположить, что оценка качества или весовой коэффициент (q_w1) первого эксперта 104₁ был определен как равный 0,90. В некоторых вариантах осуществления изобретения оценка качества или весовой коэффициент (q_w1) первого эксперта 104₁ может быть определен на основе тестовых задач, как описано выше.

[0095] Следует отметить, что в некоторых не имеющих ограничительного характера вариантах осуществления изобретения первый эксперт 104₁ выбран сервером 101 случайным образом из пула экспертов 104 базы 105 данных для выполнения задачи классификации изображения 103, представленного на фиг. 2. В некоторых не имеющих ограничительного характера вариантах осуществления изобретения эксперт 104₁ выбран сервером 101, поскольку первый эксперт 104₁ указал свою доступность раньше других экспертов 104 в пуле экспертов 105 базы 105 данных.

[0096] В некоторых не имеющих ограничительного характера вариантах осуществления изобретения первый эксперт 104₁ выбран сервером 101 на основе оценки качества или весового коэффициента (q_w1) первого эксперта 104₁. В таких вариантах осуществления изобретения способ 300 содержит шаг 301, включающий в себя выбор сервером 101 каждого эксперта из по меньшей мере одного пула экспертов, такого как пул экспертов 104 базы 105 данных, на основе оценки 109 качества эксперта 104 так, чтобы оценка 109 качества эксперта 104 превышала заранее заданный порог оценки качества (QST, Quality Score Threshold).

[0097] Кроме того, в не имеющих ограничительного характера вариантах осуществления изобретения выбор сервером 101 эксперта 104₁ дополнительно основан на информации о ценах, связанной с доступными экспертами 104 и/или связанной с конкретной краудсорсинговой задачей. В некоторых таких вариантах осуществления изобретения сервер 101 выполняет алгоритм выбора (не показан) с множеством доступных настроек, которые могут быть заданы и/или скорректированы администратором сервера или объектом, запрашивающим выполнение сервером 101 одной или нескольких задач. Например, в вариантах применения, где настоящая технология доступна составителям запросов, желающим выполнять задачи одного или нескольких конкретных видов, эти настройки могут быть доступными составителям запросов так, чтобы составители запросов могли определить одно или несколько соотношений между надежностью результатов, которые будут предоставлены с использованием настоящей технологии, и затратами, связанными с получением этих результатов.

[0098] В некоторых таких вариантах осуществления изобретения сервер 101 может быть способным использовать только тех экспертов 104, которые (а) имеют оценки 109 качества, превышающие первый порог, заранее заданный составителем запросов, и (б) имеют указанную цену для своих услуг, не превышающую второго порога, также заранее заданного составителем запросов.

[0099] В некоторых таких вариантах осуществления изобретения и применительно к вышеупомянутому примеру сервер 101 может, например, запросить в базе 105 данных оценки качества по меньшей мере некоторых экспертов 104 из пула экспертов 104 и исключить из рассмотрения любого эксперта 104 с оценкой качества, равной или меньшей заранее заданного порога QST. В некоторых таких вариантах осуществления изобретения сервер 101 может также запросить в базе 105 данных цены, связанные с по меньшей мере некоторыми из экспертов 104 из пула экспертов 104 и исключить из рассмотрения любого эксперта 104 с ценой, превышающей заранее заданный порог цены (PPT, Predetermined Price Threshold). Затем сервер 101 может использовать один или несколько критериев для выбора первого эксперта 104₁ из всех оставшихся экспертов, имеющих оценку качества, превышающую заранее заданный порог QST, и цену, меньшую или равную порогу РРТ.

[00100] Например, сервер 101 может выбрать в качестве первого эксперта 104₁ одного из оставшихся экспертов 104 с максимальной оценкой качества. В таких вариантах осуществления изобретения сервер 101 может выбрать эксперта 104 со следующей после наивысшей оценкой качества в качестве дополнительного эксперта 104 в случаях, когда требуется дополнительный эксперт 104, как описано выше. Предполагается, что другие критерии также могут быть использованы в дополнение или вместо наивысшей оценки качества.

[00101] В некоторых таких вариантах осуществления изобретения сервер 101 может быть способным использовать только тех экспертов 104, которые принадлежат к одной или нескольким заранее заданным группам 117 надежности из множества групп 117 надежности, созданных в базе 105 данных. В некоторых таких вариантах осуществления изобретения сервер 101 может быть способным обеспечивать графический интерфейс пользователя (GUI, Graphical User Interface) (не показан), который может быть доступным администратору системы и/или объекту, использующему сервер 101 (или нескольким объектам). Сервер GUI может обеспечивать возможность просмотра и/или выбора одной или нескольких необходимых групп 117 надежности из множества групп 117 надежности.

[00102] Шаг 304: реализация сервером алгоритма MLA с целью выполнения алгоритмом MLA задачи для формирования второго результата задачи, при этом оценка качества алгоритма MLA указывает надежность второго результата.

[00103] Шаг 304 способа 300 может выполняться до шага 302 или после него и может включать в себя реализацию сервером 101 алгоритма 110 MLA с целью выполнения задачи классификации изображения 103 для формирования второго результата задачи, при этом оценка качества алгоритма 110 MLA указывает надежность второго результата. В по меньшей мере некоторых вариантах осуществления изобретения оценка качества алгоритма 110 MLA рассчитывается, как описано выше, на основе тестовых задач.

[00104] Далее в этом не имеющем ограничительного характера примере можно предположить, что сервер 101 принял указание, например, в виде одного или нескольких пакетов данных, на второй результат от алгоритма 110 MLA и этот второй результат совпадает с первым результатом. Т.е. изображение 103 не содержит контент для взрослых (изображение 103 относится к категории А «контент для несовершеннолетних»).

[00105] Далее в этом примере можно предположить, что весовой коэффициент (q_w2) алгоритма 110 MLA был определен как равный 0,70 (70%).

[00106] Шаг 306: определение сервером параметра уровня достоверности, указывающего вероятность правильности первого результата, на основе первого результата, второго результата, оценки качества эксперта и оценки качества алгоритма MLA.

[00107] После шага 304 способ 300 может перейти к шагу 306. Шаг 306 может включать в себя определение сервером 101 параметра уровня достоверности, указывающего вероятность правильности первого результата (т.е. соответствия изображения 103 категории А «контент для несовершеннолетних»).

[00108] В некоторых вариантах осуществления изобретения определение параметра уровня достоверности на этом шаге может основываться на первом результате, предоставленном первым экспертом 104₁, втором результате, предоставленном алгоритмом 110 MLA, оценке качества первого эксперта 104₁ и оценке качества алгоритма 110 MLA. В некоторых таких вариантах осуществления изобретения параметр уровня достоверности для первого результата определяется, как описано выше в отношении параметра (a_j) уровня достоверности, сервером 101, определяющим взвешенный мажоритарный результат и реализующим байесовскую функцию, как описано выше.

[00109] В этом конкретном примере, поскольку первый результат и второй результат совпадают, взвешенный мажоритарный результат заключается в том, что изображение 103 относится к категории А «контент для несовершеннолетних» (результат, предоставленный первым экспертом 104₁). Далее в данном примере можно предположить, что рассчитанный согласно байесовской функции параметр (a_j) уровня достоверности равен 0,955 (95,5%).

[00110] Если бы первый результат и второй результат не совпали, то байесовская функция на этой первой итерации все равно была бы реализована сервером 101 в отношении первого результата, предоставленного первым экспертом 104₁, поскольку первый эксперт 104₁ имеет больший весовой коэффициент (0,90) по сравнению с весовым коэффициентом (0,70) алгоритма 110 MLA. Тем не менее, в таком случае описанная выше байесовская функция выдала бы параметр (a_j) уровня достоверности, указывающий меньшую вероятность, например, 0,79 (79%) вместо 0,955 (95,5%). Это различие отражает «расхождение» первого эксперта 104₁ и алгоритма 110 MLA в отношении правильной классификации изображения 103.

[00111] Шаг 308: определение сервером превышения вероятностью, указанной определенным параметром уровня достоверности, заранее заданной пороговой вероятности.

[00112] После определения на описанном выше шаге 306 параметра уровня достоверности для первого результата, предоставленного первым экспертом 104₁, способ может перейти к шагу 308.

[00113] Шаг 308 может включать в себя определение сервером 101 превышения вероятностью, указанной определенным параметром (a_j) уровня достоверности, заранее заданной пороговой вероятности (EPS). В некоторых вариантах осуществления изобретения такое определение выполняется сервером 101, как описано выше.

[00114] Шаг 310: обработка сервером задачи как выполненной с первым результатом, если определено, что вероятность, указанная определенным параметром уровня достоверности, превышает заранее заданную пороговую вероятность.

[00115] Шаг 310 способа 300 включает в себя обработку сервером 101 задачи как выполненной с первым результатом, если определено, что вероятность, указанная определенным параметром (a_j) уровня достоверности, превышает заранее заданную пороговую вероятность (EPS).

[00116] Далее в этом не имеющем ограничительного характера примере, в котором пороговая вероятность (EPS) заранее задана равной 0,92 (92%), как описано выше, сервер определяет, что параметр (a_j) уровня достоверности, равный 95,5%, превышает пороговую вероятность (EPS), равную 92%. Таким образом, сервер 101 обрабатывает задачу классификации изображения 103 как выполненную со взвешенным мажоритарным результатом , который в данном примере представляет собой первый результат, указывающий, что изображение 103 относится к категории А «контент для несовершеннолетних».

[00117] Предполагается, что в некоторых случаях алгоритм 110 MLA может использовать алгоритм с оценками качества, которые приближаются, приблизительно равны или превышают оценки качества типовых «надежных» экспертов 104, имеющих оценки качества на уровне 90%. Также предполагается, что в некоторых таких случаях эксперты 104 могут быть использованы для «подтверждения» результатов, предоставленных таким алгоритмом 110 MLA. Также предполагается, что в некоторых таких случаях способ 300 может прекращаться сервером 101, обрабатывающим задачу как выполненную с результатом, предоставленным алгоритмом (или несколькими алгоритмами) 110 MLA.

[00118] Следует отметить, что приводимой в качестве примера ситуации, такой как описанная выше альтернативная ситуация, когда первый эксперт 104₁ определил, что изображение 103 относится к категории А, а алгоритм 110 MLA определил, что изображение 103 относится к категории Б, сервер определяет параметр (a_j) уровня достоверности, указывающий меньшую вероятность правильности результата «категория А».

[00119] Например, для представленных выше оценок качества сервер 101 может определить, что параметр (a_j) уровня достоверности равен 0,79 (79%), что ниже пороговой вероятности (EPS), равной 92%. В таких случаях способ 300 не прекращается на шаге 310, а продолжается на шаге 312 (см. фиг. 4).

[00120] Шаг 312: прием сервером указания на по меньшей мере один дополнительный результат задачи, выполненной по меньшей мере одним дополнительным экспертом, при этом оценка качества этого по меньшей мере одного дополнительного эксперта указывает надежность этого по меньшей мере одного дополнительного результата.

[00121] Как показано на фиг. 4, в некоторых вариантах осуществления изобретения шаг 312 включает в себя прием сервером 101 указания на по меньшей мере один дополнительный результат задачи (в этом примере задачи классификации изображения 103), выполненной по меньшей мере одним дополнительным экспертом 104, оценка 109 качества которого указывает надежность этого по меньшей мере одного дополнительного результата.

[00122] В данном примере сервер 101 (или другой элемент) может отправить задачу классификации изображения 103 второму эксперту 104₂ из пула экспертов 104, который может быть доступен с использованием базы 105 данных, и принять указание на третий результат (т.е. на по меньшей мере один дополнительный результат) классификации, выполненной вторым экспертом 104₂, после выполнения задачи вторым экспертом 104₂.

[00123] Например, можно предположить, что второй эксперт 104₂ сообщает третий результат, указывающий, что изображение 103 относится к категории А. Также в качестве примера можно предположить, что второй эксперт 104₂ имеет оценку 109 качества, равную 0,80 (80%). Затем способ 300 переходит к шагу 314.

[00124] Шаг 314: определение сервером взвешенного мажоритарного результата задачи на основе (а) первого результата, (б) второго результата, (в) по меньшей мере одного дополнительного результата и (г) оценки качества, соответствующей первому результату, второму результату и по меньшей мере одному дополнительному результату, при этом взвешенный мажоритарный результат представляет собой имеющий наибольшую совокупную оценку качества результат, являющийся первым результатом и/или вторым результатом и/или по меньшей мере одним дополнительным результатом.

[00125] Шаг 314 включает в себя определение сервером 101 взвешенного мажоритарного результата задачи, как описано выше, на основе (а) первого результата, (б) второго результата, (в) по меньшей мере одного дополнительного результата, который в этом примере представляет собой третий результат, предоставленный вторым экспертом 104₂, и (г) оценки 109, 115 качества, соответствующей первому результату, второму результату и по меньшей мере одному дополнительному результату. Как описано выше, согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, взвешенный мажоритарный результат представляет собой имеющий наибольшую совокупную оценку качества результат, представляющий собой первый результат и/или второй результат и/или по меньшей мере один дополнительный результат.

[00126] Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, взвешенный мажоритарный результат определяется сервером 101 в соответствии с представленной выше функцией

[00127] В частности, в данном примере первый и третий результаты совпадают и поэтому образуют первую группу результатов. Таким образом, в соответствии с представленной выше функцией первая группа результатов имеет следующий совокупный весовой коэффициент: 0,9×(1)+0,7×(0)+0,8×(1)=1,7.

[00128] Второй результат (от алгоритма 110 MLA) отличается от первого и третьего результатов, и поэтому образует вторую группу результатов, отличную от первой группы результатов. Таким образом, в соответствии с представленной выше функцией вторая группа результатов имеет совокупный весовой коэффициент 0,9×(0)+0,7×(1)+0,8×(0)=0,7.

[00129] Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, сервер 101 выбирает из по меньшей мере двух различных групп одну группу, имеющую наибольшую совокупную оценку качества из совокупных оценок качества этих по меньшей мере двух различных групп результатов. Согласно не имеющим ограничительного характера вариантам осуществления настоящей технологии, сервер 101 назначает результат, представленный выбранной группой результатов, в качестве взвешенного мажоритарного результата .

[00130] В данном примере, поскольку совокупный весовой коэффициент первой группы результатов, равный 1,7, превышает совокупный весовой коэффициент второй группы результатов, равный 0,7, то для представления взвешенного мажоритарного результата назначается первая группа результатов. Таким образом, взвешенный мажоритарный результат определяется как результат, соответствующий первой группе результатов. В этом примере взвешенный мажоритарный результат заключается в том, что изображение 103 соответствует категории А («безопасный контент»).

[00131] После определения взвешенного мажоритарного результата способ 300 переходит к шагу 316.

[00132] Шаг 316: определение сервером второго параметра уровня достоверности, указывающего вероятность правильности взвешенного мажоритарного результата.

[00133] Шаг 316 включает в себя определение сервером 101 второго параметра (a_j) уровня достоверности, указывающего вероятность правильности взвешенного мажоритарного результата , определенного на шаге 314. В этом варианте осуществления способа 300 и конфигурации сервера 101 шаг 316 представляет собой повторение описанного выше алгоритма шага 306, выполненного в отношении нового набора результатов и связанных с ними весовых коэффициентов (оценок качества). Поэтому шаг 316 подробно не описан.

[00134] В данном примере можно предположить, что определенный второй параметр (a_j) уровня достоверности определен с использованием описанной выше байесовской функции и указывает вероятность 0,939 (93,9%) правильности взвешенного мажоритарного результата (zj), определенного на шаге 314. В данном примере значение 93,9% соответствует вероятности правильного определения того, что изображение 103 относится к категории А.

[00135] Шаг 318: обработка сервером задачи как выполненной со взвешенным мажоритарным результатом, если определено, что вероятность, указанная вторым параметром уровня достоверности, превышает заранее заданную пороговую вероятность.

[00136] На шаге 318 сервер 101 обрабатывает задачу как выполненную с определенным на шаге 314 взвешенным мажоритарным результатом , если определено, что вероятность, указанная вторым параметром (a_j) уровня достоверности, превышает заранее заданную пороговую вероятность (EPS).

[00137] В данном примере вероятность 93,9%, указанная вторым параметром (a_j) уровня достоверности, превышает заранее заданную пороговую вероятность (EPS), равную 92%. В связи с этим сервер 101 обрабатывает задачу классификации изображения 103, как выполненную с определенной для изображения 103 категорией А.

[00138] В соответствии с вышеупомянутым не имеющим ограничительного характера вариантом применения способа 300, поскольку результат способа 300 для изображения 103 заключается в том, что изображение 103 относится к категории А («безопасный контент»), изображение 103 и связанный с ним веб-ресурс (или несколько веб-ресурсов) не удаляются из индекса поисковой системы 116 Yandex™ и могут быть помечены как «безопасный контент», например, для представления пользователям. Затем способ 300 может быть выполнен в отношении последующего изображения и т.д. В результате изображения и контент, проиндексированные в поисковой системе 116 Yandex™ могут быть по меньшей мере частично подвергнуты фильтрации путем удаления контента для взрослых.

[00139] Один технический эффект такого применения способа 300 может обеспечить уменьшение количества экспертов 104, используемых для выполнения одной или нескольких задач, по сравнению с количеством экспертов, которые могут потребоваться для выполнения той же одной или нескольких задач с использованием по меньшей мере некоторых известных способов. Меньшее количество экспертов может обеспечить снижение общих эксплуатационных расходов сервиса, например, такого как поисковая система 116 Yandex™. Меньшее количество экспертов также может обеспечить более эффективный процесс, например, такой как описанные выше классификация изображений и удаление контента для взрослых. Например, в по меньшей мере некоторых случаях для выполнения процесса фильтрации изображений с использованием настоящей технологии может потребовать относительно меньшее время по сравнению с использованием известного процесса для фильтрации N таких же изображений.

[00140] Очевидно, что не все упомянутые в данном описании технические эффекты должны присутствовать в каждом варианте осуществления настоящей технологии. Например, возможны варианты осуществления настоящей технологии, когда пользователь не получает некоторые из этих технических эффектов, или другие варианты реализации, когда пользователь получает другие технические эффекты.

[00141] Для специалиста в данной области могут быть очевидными изменения и усовершенствования описанных выше вариантов осуществления настоящей технологии. Предшествующее описание приведено лишь в качестве примера, но не для ограничения объема изобретения. Например, несмотря на то, что выше описаны конкретные способы, предполагается, что другие способы также могут использоваться в дополнение к ним, в сочетании с ними или в качестве альтернативы. Например, несмотря на то, что выше задан определенный порядок шагов способов, предполагается, что для выполнения описанных способов может использоваться другой порядок шагов способов.

1. Способ выполнения задачи определенного вида, реализуемый на сервере и включающий в себя:

- прием сервером указания на первый результат задачи, выполненной экспертом, при этом оценка качества эксперта указывает надежность первого результата, причем оценку качества эксперта получают из базы данных;

- реализацию сервером алгоритма машинного обучения (MLA) с целью выполнения алгоритмом машинного обучения задачи для формирования второго результата задачи, при этом оценка качества алгоритма машинного обучения указывает надежность второго результата, причем оценку качества алгоритма машинного обучения получают из физической памяти;

- определение сервером параметра уровня достоверности, указывающего вероятность правильности первого результата, на основе первого результата, второго результата, оценки качества эксперта и оценки качества алгоритма машинного обучения;

- определение сервером превышения вероятностью, указанной определенным параметром уровня достоверности, заранее заданной пороговой вероятности; и

- обработку сервером задачи как выполненной с первым результатом, если определено, что вероятность, указанная определенным параметром уровня достоверности, превышает заранее заданную пороговую вероятность.

2. Способ по п. 1, отличающийся тем, что способ дополнительно включает в себя определение взвешенного мажоритарного результата на основе первого результата и второго результата, а определение параметра уровня достоверности дополнительно основано на взвешенном мажоритарном результате.

3. Способ по п. 2, отличающийся тем, что определение взвешенного мажоритарного результата включает в себя определение совпадения второго результата и первого результата.

4. Способ по п. 1, отличающийся тем, что способ дополнительно включает в себя определение сервером:

- параметра вероятности ошибки, связанного с экспертом и указывающего вероятность ошибочности первого результата, и

- параметра вероятности ошибки, связанного с алгоритмом машинного обучения и указывающего вероятность ошибочности второго результата;

при этом определение параметра уровня достоверности дополнительно основано на параметре вероятности ошибки, связанном с экспертом, и на параметре вероятности ошибки, связанном с алгоритмом машинного обучения.

5. Способ по п. 4, отличающийся тем, что определение параметра уровня достоверности включает в себя реализацию сервером байесовской функции, входные данные которой содержат:

- параметр вероятности ошибки, связанный с экспертом;

- параметр вероятности ошибки, связанный с алгоритмом машинного обучения;

- оценку качества эксперта; и

- оценку качества алгоритма машинного обучения.

6. Способ по п. 5, отличающийся тем, что определение параметра вероятности ошибки, связанного с алгоритмом машинного обучения, основано на оценке качества алгоритма машинного обучения, а определение параметра вероятности ошибки, связанного с экспертом, основано на оценке качества эксперта.

7. Способ по п. 6, отличающийся тем, что до определения параметра уровня достоверности способ дополнительно включает в себя определение сервером:

- оценки качества эксперта на основе первого множества тестовых задач, выполненных экспертом и имеющих заранее заданный результат, доступный серверу; и

- оценки качества алгоритма машинного обучения на основе второго множества тестовых задач, выполненных экспертом и имеющих заранее заданный результат, доступный серверу.

8. Способ по п. 1, отличающийся тем, что алгоритм машинного обучения:

- обучен на наборе обучающих задач, каждая из которых представляет собой задачу определенного вида и имеет заранее заданный результат;

- выполнил несколько тестовых задач с заранее заданными тестовыми результатами;

- после выполнения нескольких тестовых задач предоставил несколько тестовых результатов;

при этом оценка качества алгоритма машинного обучения определяется в виде процентной доли выданных алгоритмом машинного обучения тестовых результатов, совпадающих с соответствующим заранее заданным тестовым результатом.

9. Способ по п. 1, отличающийся тем, что он дополнительно включает в себя отправку сервером задачи эксперту для ее выполнения с целью формирования первого результата.

10. Способ по п. 1, отличающийся тем, что до приема указания на первый результат способ дополнительно включает в себя выбор сервером эксперта из пула экспертов на основе оценки качества эксперта так, чтобы оценка качества эксперта превышала заранее заданный порог оценки качества.

11. Способ по п. 1, отличающийся тем, что задача представляет собой одно из следующего: задача классификации, задача оценивания веб-страницы, задача анализа результата поиска, задача, связанная с исследованиями, задача, связанная с запросом релевантности, задача анализа описания продукта и задача анализа документа.

12. Способ по п. 1, отличающийся тем, что задача включает в себя оценивание характеристики документа.

13. Способ по п. 12, отличающийся тем, что задача включает в себя выбор характеристики из множества различных возможных характеристик, связанных с документом.

14. Способ по п. 13, отличающийся тем, что документ содержит по меньшей мере одно из следующего: изображение, текст, по меньшей мере часть веб-страницы, результат поиска, пользовательский интерфейс, по меньшей мере часть исследования, запрос релевантности и описание продукта.

15. Способ по п. 1, отличающийся тем, что параметр уровня достоверности представляет собой первый параметр уровня достоверности, и если определено, что вероятность, указанная первым параметром уровня достоверности, меньше заранее заданной пороговой вероятности, способ дополнительно включает в себя:

- прием сервером указания на по меньшей мере один дополнительный результат задачи, выполненной по меньшей мере одним дополнительным экспертом, при этом оценка качества эксперта указывает надежность по меньшей мере одного дополнительного результата;

- определение сервером взвешенного мажоритарного результата задачи на основе:

(а) первого результата,

(б) второго результата,

(в) по меньшей мере одного дополнительного результата и

(г) оценки качества, соответствующей первому результату, второму результату и по меньшей мере одному дополнительному результату, при этом взвешенный мажоритарный результат представляет собой результат, имеющий наибольшую совокупную оценку качества и представляющий собой первый результат, и/или второй результат, и/или по меньшей мере один дополнительный результат;

- определение сервером второго параметра уровня достоверности, указывающего вероятность правильности взвешенного мажоритарного результата; и

- обработку сервером задачи как выполненной со взвешенным мажоритарным результатом, если определено, что вероятность, указанная вторым параметром уровня достоверности, превышает заранее заданную пороговую вероятность.

16. Способ по п. 15, отличающийся тем, что определение взвешенного мажоритарного результата включает в себя:

- определение по меньшей мере двух различных групп результатов, каждая из которых содержит совпадающие результаты из числа первого результата, второго результата и по меньшей мере одного дополнительного результата;

- определение для каждой группы из по меньшей мере двух различных групп результатов совокупной оценки качества на основе оценки качества каждого результата в данной группе результатов;

- выбор из этих по меньшей мере двух различных групп одной группы, имеющей наибольшую совокупную оценку качества из совокупных оценок качества этих по меньшей мере двух различных групп результатов; и

- назначение результата, представленного выбранной группой результатов, в качестве взвешенного мажоритарного результата.

17. Способ по п. 16, отличающийся тем, что определение второго параметра уровня достоверности основано на оценке качества каждого результата в выбранной группе результатов.

18. Способ по п. 17, отличающийся тем, что определение второго параметра уровня достоверности включает в себя определение сервером параметра вероятности ошибки, связанного с каждым результатом из группы, отличной от выбранной группы результатов, и указывающего вероятность ошибочности связанного с ним результата, при этом определение второго параметра уровня достоверности дополнительно основано на каждом определенном параметре вероятности ошибки.

19. Способ по п. 18, отличающийся тем, что определение параметра уровня достоверности включает в себя реализацию сервером байесовской функции с каждым определенным параметром вероятности ошибки в качестве входных данных байесовской функции.

20. Способ по п. 15, отличающийся тем, что алгоритм машинного обучения:

- обучен на наборе обучающих задач, каждая из которых представляет собой задачу определенного вида и имеет заранее заданный результат;

- выполнил несколько тестовых задач с заранее заданными тестовыми результатами;

- после выполнения нескольких тестовых задач предоставил несколько тестовых результатов;

при этом оценка качества алгоритма машинного обучения определяется в виде процентной доли выданных алгоритмом машинного обучения тестовых результатов, совпадающих с соответствующим заранее заданным тестовым результатом.

21. Способ по п. 15, отличающийся тем, что до определения второго параметра уровня достоверности способ дополнительно включает в себя определение сервером оценки качества каждого эксперта из числа эксперта и по меньшей мере одного дополнительного эксперта на основе множества тестовых задач, выполненных каждым экспертом и имеющих заранее заданный результат, доступный серверу.

22. Сервер для выполнения задачи определенного вида, содержащий процессор и связанную с процессором физическую память, хранящую команды, которые при исполнении процессором инициируют выполнение сервером следующих действий:

- прием указания на первый результат задачи, выполненной экспертом, при этом оценка качества эксперта указывает надежность первого результата, причем оценку качества эксперта получают из базы данных;

- реализация алгоритма машинного обучения с целью выполнения алгоритмом машинного обучения задачи для формирования второго результата задачи, при этом оценка качества алгоритма машинного обучения указывает надежность второго результата, причем оценку качества алгоритма машинного обучения получают из физической памяти;

- определение параметра уровня достоверности, указывающего вероятность правильности первого результата, на основе первого результата, второго результата, оценки качества эксперта и оценки качества алгоритма машинного обучения;

- определение превышения вероятностью, указанной определенным параметром уровня достоверности, заранее заданной пороговой вероятности; и

- обработка задачи как выполненной с первым результатом, если определено, что вероятность, указанная определенным параметром уровня достоверности, превышает заранее заданную пороговую вероятность.