Способ поиска данных для задач машинного обучения

Изобретение относится к области вычислительной техники для поиска данных, хранящихся на информационных узлах различных владельцев данных. Технический результат заключается в упрощении и ускорении процесса поиска данных. Разработан способ поиска данных для задач машинного обучения, содержащий формирование поискового запроса на информационном узле клиента, его отправку и предоставление ответа на поисковый запрос на информационный узел клиента; при формировании поискового запроса указывают набор данных клиента, содержащий объекты и соответствующие объектам метки; отправку поискового запроса осуществляют на информационный узел по меньшей мере одного владельца данных; после получения поискового запроса объекты характеризуют посредством набора признаков, содержащего по меньшей мере один признак из набора данных владельца данных, находят по меньшей мере одну функцию зависимости между набором признаков и метками, вычисляют значение по меньшей мере одной функции потерь для функции зависимости между набором признаков и метками; а в качестве ответа на поисковый запрос используют информацию, содержащую вычисленное значение функции потерь. 15 з.п. ф-лы.

 

Изобретение относится к области машинного обучения, в частности – к способам поиска данных, релевантных задачам машинного обучения, из множества данных, находящихся в платном или бесплатном доступе и хранящихся на информационных узлах различных владельцев данных.

Как известно, одной из разновидностей машинного обучения является «обучение с учителем», при котором задается конечный набор размеченных данных, содержащий объекты, охарактеризованные посредством набора признаков, и соответствующие объектам метки. Предполагается, что имеется некоторая неизвестная целевая зависимость (функциональная или стохастическая) между объектами и метками и, соответственно, между набором признаков, характеризующих объекты, и метками. При этом процесс обучения, по сути, заключается в нахождении функции зависимости между набором признаков и метками по определенному алгоритму машинного обучения, основываясь на заданном конечном наборе размеченных данных, причем под «признаками» понимаются переменные функции, а под «меткой» – значение функции. Кроме того, для того, чтобы найденная функция была практически применима для решения определенных задач, например, задач классификации или регрессии, она должна приближать целевую зависимость не только на заданном конечном наборе объектов, но и на всем условно бесконечном множестве объектов, охарактеризованных посредством того же набора признаков.

Совершенно очевидно, что степень приближенности полученной в результате обучения функции зависимости к целевой зависимости напрямую зависит от того, на каком наборе размеченных данных производилось обучение. При этом важным является не только количество соответствий «объект-метка» (так называемых «примеров» или «прецедентов»), но и то, каким набором признаков объекты охарактеризованы. Более того, существенно на качестве обучения отражается как корреляция между признаками в наборе, так и корреляция между каждым отдельно взятым признаком из набора и меткой.

Таким образом, нетрудно заметить, что задача поиска и расширения набора признаков является критическим аспектом процесса машинного обучения. В настоящее время из уровня техники известно несколько сервисов, помогающих в решении данной задачи, например, Dawex и Google Dataset Search.

Dawex является платформой по обмену данными, при помощи которой различные организации могут распространять, получать, обмениваться, совместно использовать и коммерциализировать данные, а также управлять экосистемой данных.

Google Dataset Search работает по аналогии со стандартным поисковым сервисом Google и предоставляет пользователю возможность, введя поисковый запрос на естественном языке, описывающий искомый набор данных, получить в ответ список владельцев данных, предположительно релевантных искомому запросу на основании текстового описания данных, и ссылки на WEB сайты владельцев. Данный сервис выбран в качестве прототипа настоящего изобретения.

Таким образом, воспользовавшись одним из таких сервисов, клиент может найти необходимый ему набор данных и, скачав его, применить для задач машинного обучения. При этом очевидно, что найденные наборы данных могут быть применены по-разному. Например, набор размеченных данных, который изначально есть у клиента, может быть расширен посредством добавления новых признаков, характеризующих уже имеющиеся в нем объекты.

Недостатками обоих указанных выше сервисов является то, что в случае если искомый набор данных после осуществления поиска будет использоваться для задач машинного обучения, в процессе поиска клиент, по сути, не может оценить степень релевантности найденных наборов данных той задаче, для решения которой и проводится поиск. Понять, насколько тот или иной найденный набор данных, а именно, насколько те или иные признаки из найденного набора данных, примененные для характеристики объектов из набора размеченных данных клиента, повлияют на качество искомой в процессе машинного обучения функции зависимости, клиент сможет только после скачивания такого набора данных и его соответствующего применения. Кроме того, следует отметить, что свободное скачивание данных может быть недоступным по причине того, что данные находятся в платном доступе. В таком случае у клиента вообще отсутствует возможность полноценно оценить релевантность найденных данных его задаче до их приобретения.

Таким образом, применительно к задачам машинного обучения вышеперечисленные аналоги и предоставляемые ими механизмы поиска наборов данных являются неэффективными, так как не позволяют оценить релевантность результатов поиска конкретным задачам машинного обучения. Следует отметить, что наличие такого недостатка обусловлено не только тем, в каком виде предоставляется ответ на поисковый запрос, но и тем, в каком виде поисковый запрос формируется. Указанные аналоги, по сути, используют семантический тип поиска, при котором поисковый запрос формируется клиентом на естественном языке, что, безусловно, не позволяет эффективно охарактеризовать задачу машинного обучения, для решения которой предполагается применение искомых наборов данных.

Следовательно, задачей настоящего изобретения является создание такого способа поиска данных для задач машинного обучения, реализация основных этапов которого обеспечивала бы достижение технического результата, заключающегося в повышении степени релевантности результатов поиска задачам машинного обучения, предоставлении оценки указанной степени релевантности для каждого из результатов и, как следствие, упрощении и ускорении процесса поиска в целом.

Поставленная задача решается тем, что разработан способ поиска данных для задач машинного обучения, содержащий формирование поискового запроса на информационном узле клиента, его отправку и предоставление ответа на поисковый запрос на информационный узел клиента, при этом при формировании поискового запроса указывают набор данных клиента, содержащий объекты и соответствующие объектам метки; отправку поискового запроса осуществляют на информационный узел по меньшей мере одного владельца данных; после получения поискового запроса объекты характеризуют посредством набора признаков, содержащего по меньшей мере один признак из набора данных владельца данных, находят по меньшей мере одну функцию зависимости между набором признаков и метками, вычисляют значение по меньшей мере одной функции потерь для функции зависимости между набором признаков и метками; а в качестве ответа на поисковый запрос используют информацию, содержащую вычисленное значение функции потерь.

Заявляемый способ, во-первых, предусматривает возможность задания такой информации в процессе формирования поискового запроса, по которой можно точно определить, для какой задачи машинного обучения необходимо найти наборы данных. По сути, поисковый запрос представляет собой набор размеченных данных, который формирует соответствующий технический специалист на стороне клиента, готовя данные для машинного обучения. Такой набор размеченных данных является неотъемлемой частью процесса машинного обучения «с учителем», следовательно формирование поискового запроса согласно заявляемому способу не требует выполнения на стороне клиента каких-либо дополнительных действий. Во-вторых, используя такую информацию из поискового запроса, информационный узел владельца данных может осуществить действия, позволяющие оценить, насколько имеющиеся на нем данные релевантны поисковому запросу. Для этого локально на информационном узле владельца данных объекты из набора данных клиента характеризуют посредством признаков из набора данных владельца данных и проводят обучение с учителем, в результате которого находят функцию зависимости между набором признаков и метками, как было указано выше. Далее, для того, чтобы дать качественную оценку найденной функции, а следовательно, и признакам из набора данных владельца данных, с использованием которых проводилось обучение, вычисляют значение функции потерь для найденной функции зависимости. Следовательно, реализация вышеуказанных этапов заявляемого способа, в частности то, как формируется поисковый запрос и в каком виде предоставляется ответ на него, позволяет повысить степень релевантности результатов поиска задачам машинного обучения, при этом посредством включения в ответ на поисковый запрос вычисленного значения функции потерь для функции зависимости между набором признаков, содержащим признаки из набора данных владельца, и метками клиенту предоставляется возможность оценить указанную степень релевантности. Таким образом, заявляемый способ в целом позволяет упростить и ускорить процесс поиска данных для задач машинного обучения.

При этом важным аспектом является то, что оценка степени релевантности найденных наборов данных осуществляется без необходимости передачи клиенту данных владельца данных. Несмотря на то, что после осуществления выбора необходимого набора данных для его использования потребуется пересылка с информационного узла владельца данных на узел клиента, необходимость в такой пересылке на этапе самого поиска и выбора полностью исключена.

Должно быть понятно, что реализация данного способа в полном объеме, а именно – с наличием множества информационных узлов владельцев данных, которым централизовано рассылается и которыми обрабатывается поисковый запрос, а также с наличием различных дополнительных аспектов заявляемого способа, описание которых будет приведено ниже, предпочтительно должна осуществляться с использованием поискового сервиса и, соответственно, с использованием по меньшей мере одного информационного узла поискового сервиса.

Что касается того, по какому алгоритму осуществляют машинное обучение на информационном узле владельца данных, существует несколько предпочтительных вариантов реализации настоящего изобретения.

Так, в одном из предпочтительных вариантов реализации настоящего изобретения при формировании поискового запроса задают по меньшей мере один алгоритм машинного обучения; отправку поискового запроса и предоставление ответа на поисковый запрос осуществляют напрямую или через по меньшей мере один информационный узел поискового сервиса; а функцию зависимости между набором признаков и метками находят посредством обучения по заданному алгоритму.

В другом предпочтительном варианте реализации настоящего изобретения отправку поискового запроса и предоставление ответа на поисковый запрос осуществляют напрямую или через по меньшей мере один информационный узел поискового сервиса, перед нахождением функции зависимости между набором признаков и метками информационным узлом владельца данных определяют тип метки в наборе данных клиента и осуществляют выбор по меньшей мере одного алгоритма машинного обучения для определенного типа метки, а функцию зависимости между набором признаков и метками находят посредством обучения по выбранному алгоритму.

В еще одном предпочтительном варианте реализации настоящего изобретения отправку поискового запроса и предоставление ответа на поисковый запрос осуществляют через по меньшей мере один информационный узел поискового сервиса, перед нахождением функции зависимости между набором признаков и метками информационным узлом поискового сервиса определяют тип метки в наборе данных клиента и осуществляют выбор по меньшей мере одного алгоритма машинного обучения для определенного типа метки, а функцию зависимости между набором признаков и метками находят посредством обучения по выбранному алгоритму.

При всех вышеперечисленных вариантах реализации настоящего изобретения предпочтительным является, чтобы в процессе обучения осуществляли выбор гиперпараметров алгоритма машинного обучения с использованием по меньшей мере одного метода перебора.

Очевидно, что для практической реализации настоящего способа при наличии большого количества владельцев данных нецелесообразно рассылать поисковый запрос всем доступным поставщикам данных, предварительно не оценивая возможность наличия у них данных, релевантных данному поисковому запросу. Следовательно, предпочтительно, используя информационный узел поискового сервиса как промежуточное звено между клиентом и владельцем данных и получив поисковый запрос, осуществить некоторый предварительный выбор владельцев данных, которые потенциально могут содержать релевантные поисковому запросу данные, из общего списка владельцев данных, доступных поисковому сервису.

Так, в предпочтительном варианте реализации настоящего изобретения отправку поискового запроса и предоставление ответа на поисковый запрос осуществляют через по меньшей мере один информационный узел поискового сервиса, перед формированием поискового запроса при помощи по меньшей мере одного информационного узла владельца данных осуществляют регистрацию метаданных о наборе данных владельца данных на информационном узле поискового сервиса, при формировании поискового запроса осуществляют регистрацию метаданных о наборе данных клиента на по меньшей мере одном информационном узле поискового сервиса, а перед отправкой поискового запроса на информационный узел владельца данных осуществляют выбор информационного узла владельца данных на информационном узле поискового сервиса посредством сопоставления метаданных о наборе данных клиента и метаданных о наборе данных владельца данных.

В контексте настоящей заявки термин «метаданные» следует понимать максимально широко, а именно – в значении любой возможной информации о наборе данных клиента и/или владельца данных соответственно. Так, метаданными могут считаться признаки, которыми охарактеризованы объекты (например: «Температура», «Цвет», «Количество посетителей» и т.д.), при этом имеется в виду не значение признаков для конкретных объектов, а наличие конкретного признака как такового в качестве характеристики объектов. Более того, следует учитывать, что объекты в наборах данных также могут содержать идентификаторы – некоторые «уникальные» признаки, позволяющие однозначно отличать указанные объекты от других объектов, то есть идентифицировать. Таким образом, предпочтительно, чтобы при регистрации метаданных о наборе данных владельца данных и метаданных о наборе данных клиента на информационном узле поискового сервиса определяли идентификаторы объектов в наборе данных владельца данных и наборе данных клиента, а характеризацию объектов осуществляли посредством нахождения совпадений идентификаторов и их значений в наборе данных владельца данных с идентификаторами и их значениями в наборе данных клиента и привязки значений признаков из набора данных владельца данных, соответствующих каждому из совпавших значений идентификаторов, к объектам из набора данных клиента, характеризующимся совпавшими значениями идентификаторов, соответственно. Идентификатором может служить, например, «Номер паспорта», «Номер банковского счета», «Географические координаты», «Дата/Время» и т.д. Несмотря на то, что идентификаторы ввиду своей уникальности сами по себе никак не могут положительно повлиять на процесс обучения, а именно улучшить функцию зависимости между признаками и метками, тем не менее они позволяют точно сопоставить значения признаков из наборов данных владельца с объектами из набора данных клиента. Данный аспект рассмотрен более подробно на примерах реализации заявляемого способа, описанных ниже.

Кроме того, метаданными могут считаться также признаки, содержащие информацию о дате и/или времени, в частности, информацию о дате и/или времени записи данных в наборе данных владельца данных и/или наборе данных клиента. Следовательно, в предпочтительном варианте реализации настоящего изобретения при регистрации метаданных о наборе данных владельца данных и/или метаданных о наборе данных клиента на информационном узле поискового сервиса определяют временные интервалы, за которые доступны данные в наборе данных владельца данных и/или наборе данных клиента.

Следует понимать, что возможны различные варианты реализации заявляемого способа в аспекте взаимодействия с клиентом. Так, в предпочтительном варианте реализации настоящего изобретения формирование, и/или отправку, и/или предоставление ответа на поисковый запрос осуществляют с использованием интерфейса пользователя и/или прикладного интерфейса программирования. Под прикладным интерфейсом программирования следует понимать API (application programming interface). Таким образом, со стороны клиента взаимодействие может быть реализовано, например, через веб-сайт посредством использования определенных элементов интерфейса (по аналогии с традиционными поисковыми сервисами) или же, например, внутри интегрированной среды разработки программного обеспечения посредством подключения соответствующих библиотек и вызова соответствующих функций.

Что касается содержания и формы предоставления ответа на поисковый запрос, следует понимать, что возможно множество вариантов реализации заявляемого способа. Так, в предпочтительном варианте реализации настоящего изобретения в информацию, используемую в качестве ответа на поисковый запрос, включают описание владельца данных, и/или ссылку на сайт владельца данных, и/или ссылку на прикладной интерфейс программирования для доступа к по меньшей мере одному набору данных владельца данных.

Также существует множество вариантов реализации настоящего изобретения с точки зрения того, где и какими признаками характеризуют объекты из набора данных клиента, и, следовательно, как формируют и что включают в ответ на поисковый запрос.

Так, в одном из предпочтительных вариантов реализации настоящего изобретения при формировании поискового запроса объекты характеризуют посредством по меньшей мере одного признака из набора данных клиента, а после получения поискового запроса объекты характеризуют посредством набора признаков, содержащего по меньшей мере один признак из набора данных владельца данных и по меньшей мере один признак из набора данных клиента. Как было указано выше, на качестве обучения отражается не только корреляция между каждым отдельно взятым признаком из набора и меткой, но и корреляция между признаками в наборе. Так, в данном варианте реализации в процессе обучения на информационном узле владельца данных находят функцию зависимости между набором признаков и метками, где набор признаков содержит не только признаки из набора данных владельца данных, но и признаки из набора данных клиента. Следовательно, настоящий предпочтительный вариант реализации позволяет оценить релевантность найденных данных владельца данных поисковому запросу с учетом корреляции между признаками из набора данных владельца данных и признаками из набора данных клиента.

В другом предпочтительном варианте реализации настоящего изобретения перед формированием поискового запроса объекты характеризуют посредством по меньшей мере одного признака из набора данных клиента, находят по меньшей мере одну функцию зависимости между признаками из набора данных клиента и метками и вычисляют значение по меньшей мере одной функции потерь для функции зависимости между признаками из набора данных клиента и метками, при формировании поискового запроса указывают значение вычисленной функции потерь для функции зависимости между признаками из набора данных клиента и метками, осуществляют сравнение значений функции потерь для функции зависимости между признаками из набора данных клиента и метками и функции потерь для функции зависимости между набором признаков, содержащим по меньшей мере один признак из набора данных владельца данных, и метками, а в ответ на поисковый запрос включают информацию о по меньшей мере одном владельце данных, у которого значение функции потерь для функции зависимости между набором признаков, содержащим по меньшей мере один признак из набора данных владельца данных, и метками меньше, чем значение функции потерь для функции зависимости между признаками из набора данных клиента и метками. Таким образом, данный вариант реализации позволит оценить, обеспечат ли признаки из набора данных владельца данных возможность получения более точной функции зависимости (то есть такой функции зависимости, которая в большей степени приближена к целевой зависимости, чем функция зависимости, найденная с использованием признаков из набора данных клиента), а также понять, в какой мере такая функция зависимости будет лучше. Кроме того, из ответа на поисковый запрос будут автоматически исключены владельцы данных, наборы данных которых, несмотря на то, что содержат релевантные заданной задаче машинного обучения данные, тем не менее не смогут обеспечить клиенту возможность нахождения функции зависимости более точной, чем та, которая уже имеется у клиента.

В еще одном предпочтительном варианте реализации настоящего изобретения при формировании поискового запроса объекты характеризуют посредством по меньшей мере одного признака из набора данных клиента, после получения поискового запроса находят по меньшей мере одну функцию зависимости между признаками из набора данных клиента и метками, вычисляют значение по меньшей мере одной функции потерь для функции зависимости между признаками из набора данных клиента и метками, осуществляют сравнение значений функции потерь для функции зависимости между признаками из набора данных клиента и метками и функции потерь для функции зависимости между набором признаков, содержащим по меньшей мере один признак из набора данных владельца данных, и метками, а в ответ на поисковый запрос включают информацию о по меньшей мере одном владельце данных, у которого значение функции потерь для функции зависимости между набором признаков, содержащим по меньшей мере один признак из набора данных владельца данных, и метками меньше, чем значение функции потерь для функции зависимости между признаками из набора данных клиента и метками. Данный вариант реализации, по сути, обеспечивает достижение того же результата, что и предыдущий, отличием является лишь то, на каком информационном узле осуществляют машинное обучение, в результате которого находят функцию зависимости между признаками из набора данных клиента и метками, и далее вычисляют значение функции потерь для данной функции зависимости.

В целом должно быть понятно, что возможно множество вариантов реализации настоящего изобретения в отношении того, на каких информационных узлах какие этапы способа реализуются. Так, например, вычисление значения по меньшей мере одной функции потерь может быть осуществлено информационным узлом владельца данных или информационным узлом поискового сервиса.

Также следует учитывать, что заявляемое техническое решение обеспечивает возможность использования дополнительных механизмов, помогающих клиенту быстрее найти наиболее релевантный результат поиска. Так, в предпочтительном варианте реализации настоящего изобретения информацию, используемую в качестве ответа на поисковый запрос, сортируют по значениям соответствующих функций потерь. Должно быть понятно, что в качестве функции потерь могут быть использованы различные известные функции потерь, например: квадратичная, двоичная, простая. При этом в качестве ответа на поисковый запрос предпочтительно используют информацию, содержащую значения нескольких функций потерь, и, соответственно, обеспечивают возможность сортировки по значениям каждой из функций потерь.

Как известно, для оценки качества найденных в результате машинного обучения функций зависимости между признаками и метками используют определенные функции, именуемые метриками. В задачах машинного обучения широко используется множество метрик, например, в задачах классификации используют «accuracy» (доля правильных «ответов»), «precision» (доля объектов, правильно отнесенных классификатором к определенному классу, по отношению ко всему количеству объектов, отнесенных им к данному классу), «recall» (доля объектов, правильно отнесенных классификатором к определенному классу, по отношению ко всем объектам, действительно принадлежащим к данному классу), «F-measure» (среднее гармоническое значение «precision» и «recall») и т.д. Также существуют метрики, характеризующие стабильность значений функции потерь на определенном временном интервале, и метрики, характеризующие предсказательную силу определенного признака. Очевидно, что, используя значения различных метрик, посчитанных от функций зависимости между признаками из наборов данных владельцев данных и метками, можно оценить степень релевантности найденных наборов данных поисковому запросу клиента. Таким образом, в предпочтительном варианте реализации настоящего изобретения после вычисления значения функции потерь для функции зависимости между набором признаков и метками вычисляют значение по меньшей мере одной метрики, характеризующей стабильность значений функции потерь на по меньшей мере одном временном интервале, а в информацию, используемую в качестве ответа на поисковый запрос, включают вычисленное значение метрики, характеризующей стабильность значений функции потерь на по меньшей мере одном временном интервале. Кроме того, в предпочтительном варианте реализации после нахождения функции зависимости вычисляют значение по меньшей мере одной метрики, характеризующей предсказательную силу по меньшей мере одного признака из набора данных владельца данных, а в информацию, используемую в качестве ответа на поисковый запрос, включают вычисленное значение метрики, характеризующей предсказательную силу по меньшей мере одного признака из набора данных владельца данных.

Следует понимать, что реализация заявляемого способа предпочтительно должна осуществляться соответствующей системой, содержащей объединенные посредством вычислительной сети (локальной или интернета) по меньшей мере один информационный узел клиента, по меньшей мере один информационный узел поискового сервиса и по меньшей мере один информационный узел поставщика данных, при этом информационный узел клиента и/или информационный узел поискового сервиса содержат программные инструкции, хранимые на машиночитаемом носителе информационного узла клиента и/или на информационном узле поискового сервиса соответственно, которые при приведении их в исполнение по меньшей мере одним процессором информационного узла клиента и/или информационного узла поискового сервиса соответственно обеспечивают формирование поискового запроса с указанием набора данных клиента, содержащего объекты и соответствующие объектам метки; отправку поискового запроса на информационный узел по меньшей мере одного владельца данных; предоставление ответа на поисковый запрос на информационный узел клиента; а информационный узел владельца данных содержит программные инструкции, хранимые на машиночитаемом носителе информационного узла владельца данных, которые при приведении их в исполнение по меньшей мере одним процессором информационного узла владельца данных обеспечивают задание характеристики объектов посредством набора признаков, содержащего по меньшей мере один признак из набора данных владельца данных, нахождение по меньшей мере одной функции зависимости между набором признаков и метками и вычисление значения по меньшей мере одной функции потерь для функции зависимости между набором признаков и метками; при этом ответ на поисковый запрос содержит вычисленное значение функции потерь.

Предпочтительно, чтобы система была реализована таким образом, чтобы обеспечивать возможность реализации всех указанных предпочтительных вариантов реализации заявляемого способа.

Под информационным узлом в контексте данной заявки следует понимать любое стационарное или мобильное вычислительное устройство, например, сервер, персональный компьютер, ноутбук, смартфон, планшет и т.д., а также группу таких устройств, объединенных в единую вычислительную систему. При этом доступ к такой системе может быть реализован как напрямую, так и посредством использования «тонкого» клиента, например, через интернет-браузер.

Также следует понимать, что взаимодействие между информационными узлами может быть реализовано как напрямую, так и через различного рода сетевое оборудование, а также через другие информационные узлы.

Указанные предпочтительные варианты реализации способа согласно настоящему изобретению приведены в качестве примера и не ограничивают объем притязаний по данной заявке, при этом заявляемый способ может быть реализован любым другим образом, в том числе характеризующимся заявляемым набором существенных признаков.

Заявляемое решение, выполненное согласно наиболее предпочтительному варианту реализации, реализуется следующим образом.

В первую очередь организуют систему, содержащую объединенные посредством вычислительной сети (локальной или интернета) по меньшей мере один информационный узел клиента, по меньшей мере один информационный узел поискового сервиса и информационные узлы владельцев данных.

Далее при помощи информационных узлов владельцев данных осуществляют регистрацию метаданных о наборах данных владельцев данных на информационном узле поискового сервиса. При этом определяют идентификаторы объектов в наборе данных владельца данных.

Далее на информационном узле клиента формируют поисковый запрос, при этом указывают набор данных клиента, содержащий объекты и соответствующие объектам метки, где объекты характеризуют посредством признаков из набора данных клиента. При этом также осуществляют регистрацию метаданных о наборе данных клиента на по меньшей мере одном информационном узле поискового сервиса и определяют идентификаторы объектов в наборе данных клиента.

После этого осуществляют отправку поискового запроса посредством вычислительной сети через информационный узел поискового сервиса. Информационным узлом поискового сервиса, в свою очередь, определяют тип метки в наборе данных клиента и осуществляют выбор алгоритма машинного обучения для определенного типа метки. Также на информационном узле поискового сервиса осуществляют выбор информационных узлов владельцев данных посредством сопоставления метаданных о наборе данных клиента и метаданных о наборе данных владельца данных (имеется в виду, в первую очередь, выбор между владельцами данных, а не выбор между информационными узлами одного владельца данных).

Далее поисковый запрос направляют на выбранные информационные узлы владельцев данных. После получения поискового запроса информационным узлом каждого из владельцев данных находят по меньшей мере одну функцию зависимости между признаками из набора данных клиента и метками, вычисляют значение по меньшей мере одной функции потерь для функции зависимости между признаками из набора данных клиента и метками, при этом функцию зависимости между признаками и метками находят посредством обучения по ранее выбранному алгоритму, а в процессе обучения осуществляют выбор гиперпараметров алгоритма машинного обучения с использованием по меньшей мере одного метода перебора. Далее объекты характеризуют посредством набора признаков, содержащего по меньшей мере один признак из набора данных соответствующего владельца данных. При этом характеризацию объектов осуществляют посредством нахождения совпадений идентификаторов и их значений в наборе данных владельца данных с идентификаторами и их значениями в наборе данных клиента и привязки значений признаков из набора данных владельца данных, соответствующих каждому из совпавших значений идентификаторов, к объектам из набора данных клиента, характеризующимся совпавшими значениями идентификаторов, соответственно. Далее находят по меньшей мере одну функцию зависимости между указанным набором признаков и метками, вычисляют значение по меньшей мере одной функции потерь для функции зависимости между набором признаков и метками, при этом функцию зависимости между набором признаков и метками находят посредством обучения по ранее выбранному алгоритму, а в процессе обучения осуществляют выбор гиперпараметров алгоритма машинного обучения с использованием по меньшей мере одного метода перебора. Далее информационными узлами владельцев данных осуществляют сравнение значений функции потерь для функции зависимости между признаками из набора данных клиента и метками и функции потерь для функции зависимости между набором признаков, содержащим по меньшей мере один признак из набора данных владельца данных, и метками. Кроме того, после нахождения функции зависимости информационными узлами владельцев данных вычисляют значение метрик, характеризующих предсказательную силу каждого признака из набора данных владельца данных.

Далее предоставляют ответ на поисковый запрос на информационный узел клиента, в который включают информацию только о тех владельцах данных, у которых значение функции потерь для функции зависимости между набором признаков, содержащим по меньшей мере один признак из их наборов данных, и метками меньше, чем значение функции потерь для функции зависимости между признаками из набора данных клиента и метками. При этом в информацию, используемую в качестве ответа на поисковый запрос, включают описание каждого из владельцев данных, ссылку на его сайт и/или ссылку для доступа к его набору данных, вычисленное им значение функции потерь для функции зависимости между набором признаков, содержащим признаки из его набора данных, и метками, а также вычисленное значение метрик, характеризующих предсказательную силу каждого признака из его набора данных. Кроме того, информацию, используемую в качестве ответа на поисковый запрос, сортируют по значениям функции потерь таким образом, чтобы первыми в перечне владельцев данных были владельцы данных с наименьшим значением функции потерь. При этом в процессе реализации способа формирование, отправку и предоставление ответа на поисковый запрос осуществляют с использованием интерфейса пользователя.

Ниже приведены поясняющие примеры реализации заявляемого способа с привязкой к конкретным практическим задачам машинного обучения.

Пример №1 – поиск наборов данных для задачи прогнозирования товарооборота торговой точки.

В данном примере у клиента-ритейлера имеется набор данных, содержащий объекты – записи, говорящие о фактах продаж конкретного товара – и соответствующие объектам метки – количество проданных единиц товара. У клиента также изначально имеется некоторая модель машинного обучения (некоторая найденная функция зависимости между набором признаков и метками), осуществляющая прогнозирование товарооборота торговой точки. При этом указанная функция зависимости была найдена в результате машинного обучения, при котором объекты были охарактеризованы посредством набора признаков из набора данных клиента, включающего следующие признаки: цена товара (история изменения цены), расписание работы торговых точек, наличие других конкурентных товаров на полках торговых точек, дату, когда была произведена запись, адрес торговой точки (включая почтовый индекс) и др. Также было вычислено значение функции потерь для функции зависимости между признаками из набора данных клиента и метками. В качестве функции потерь использовали расчет среднеквадратичной логарифмической ошибки (Root Mean Squared Logaritmic Error (RMSLE)).

Требуется найти наборы данных, содержащие признаки, которые характеризовались бы высокой степенью корреляции с метками и, таким образом, позволили бы найти новую функцию зависимости, обеспечивающую достижение более точного результата прогнозирования.

Для этого клиент, используя систему, реализующую заявляемый способ, формирует поисковый запрос, указывая свой набор данных, содержащий объекты и соответствующие объектам метки, при этом характеризуя объекты посредством признаков. Таким образом, поисковый запрос, по сути, представляет собой набор размеченных данных, который формирует соответствующий технический специалист на стороне клиента при подготовке данных для машинного обучения.

В данном примере отправку поискового запроса и предоставление ответа на поисковый запрос осуществляли через информационный узел поискового сервиса. При этом при формировании поискового запроса информационным узлом клиента осуществляли регистрацию метаданных о наборе данных клиента и определение идентификаторов объектов на информационном узле поискового сервиса, после чего осуществляли выбор информационных узлов владельцев данных на информационном узле поискового сервиса посредством сопоставления метаданных о наборе данных клиента (в частности – идентификаторов) с соответствующими метаданными о наборах данных владельцев данных, регистрация которых была осуществлена предварительно. В вышеуказанном наборе данных клиента в качестве идентификаторов, таким образом, были определены почтовые индексы, указывающие на географические зоны, в которых расположены торговые точки, а также дата, когда была произведена запись. Далее был осуществлен выбор информационных узлов владельцев данных, в наборах данных которых есть такой же идентификатор (почтовый индекс). Далее через информационный узел поискового сервиса поисковый запрос был отправлен на выбранные информационные узлы владельцев данных.

В данном примере одним из выбранных владельцев данных являлся сервис с данными о погоде, на информационном узле которого имелся набор архивных данных, содержащий признаки, характеризующие погодные условия (температура, влажность, наличие осадков и т.д.), с привязкой к тому же идентификатору (почтовый индекс), а также с указанием соответствующей даты.

После получения поискового запроса данным информационным узлом объекты характеризовались посредством набора признаков, содержащего признаки из набора данных владельца данных и признаки из набора данных клиента. При этом характеризацию объектов осуществляли посредством нахождения совпадений почтовых индексов и даты в наборе данных владельца данных с почтовыми индексами и датой в наборе данных клиента и привязки значений признаков из набора данных владельца данных, соответствующих каждому из совпавших значений идентификаторов, к объектам из набора данных клиента, характеризующимся совпавшими значениями идентификаторов, соответственно. Иными словами, набор данных, содержащийся в поисковом запросе, дополнили признаками рассматриваемого владельца данных. Таким образом, в полученном размеченном наборе данных объекты были охарактеризованы следующими признаками: цена товара (история изменения цены), расписание работы торговых точек, наличие других конкурентных товаров на полках торговых точек, дата, адрес торговой точки (включая почтовый индекс), температура, влажность, наличие осадков, при этом каждому объекту, охарактеризованному конкретными значениями данных признаков, соответствовала метка – количество проданных единиц товара.

Далее информационными узлами владельцев данных (включая вышеуказанный сервис с данными о погоде) были найдены функции зависимости между полученным набором признаков, содержащим признаки из набора данных владельца данных и признаки из набора данных клиента, и метками и вычислены значения функций потерь RMSLE для найденных функций зависимости.

Далее на информационный узел клиента предоставляли ответ на поисковый запрос, включающий описание каждого из владельцев данных, ссылку на его сайт и ссылку для доступа к его набору данных, а также вычисленное им значение функции потерь RMSLE для найденной функции зависимости между набором признаков, содержащим признаки из его набора данных и признаки из набора данных клиента, и метками.

Данный пример может наглядно показать недостатки семантического поиска, используемого в техническом решении, взятом в качестве прототипа, и, соответственно, преимущества заявляемого в настоящей заявке способа поиска наборов данных. Так, следует отметить, что клиент может и не подозревать, какого рода данные могут по итогу оказаться релевантными его задаче, и, соответственно, не знать, какую информацию указывать в семантическом поисковом запросе. Например, данные о погоде, на первый взгляд не имеющие отношения к предсказанию товарооборота, могут по факту существенно повысить точность функции зависимости, если сами товары имеют отношение к погодным условиям, в которых их обычно используют покупатели. Такими товарами, например, могут быть дождевики, мороженное и т.п. Следовательно, применительно к таким товарам найденный в результате использования заявляемого способа набор данных с признаками, характеризующими погодные условия, будет иметь высокую степень корреляции с метками из набора данных клиента и, таким образом, позволит найти функцию зависимости, более точно предсказывающую товарооборот, что будет соответственно отражено в значении функции потерь RMSLE, рассчитанном для данной функции зависимости.

Таким образом, получив ответ на поисковый запрос и сравнив значение функции потерь RMSLE для функции зависимости, которая имелась у клиента изначально (имеется в виду функция зависимости между признаками из набора данных клиента и метками), и функции потерь RMSLE для функции зависимости между набором признаков, содержащим признаки из набора данных владельца данных и признаки из набора данных клиента, и метками, клиент может убедиться, что найденный набор данных владельца данных, которым является сервис с данными о погоде, является релевантным задаче машинного обучения, интересующей клиента. Далее клиент может приобрести у владельца данных найденный набор данных, если доступ к нему ограничен, или же сразу скачать его, в случае если он находится в открытом доступе.

Пример №2 – поиск наборов данных для задачи прогнозирования количества посетителей торгового центра.

В данном примере у клиента, перед которым стояла указанная задача, имелся некоторый набор размеченных данных. Метками в наборе данных клиента, соответственно, являлись записи о количестве посетителей, полученные в результате маркетинговых исследований. При этом объекты перед формированием поискового запроса характеризовали посредством набора признаков, включающего данные о количестве машин на парковках торговых центров, полученные путем распознавания снимков со спутников, которые обновляются через день, данные о количестве проданных товаров, а также дату, и координаты парковок, взятые из описания снимков.

Следует отметить, что, как и в данном примере, не всегда можно четко понять, что конкретно является «объектом» в наборе размеченных данных. Так или иначе, под «объектом» следует понимать нечто, описанное через имеющийся набор значений признаков, соответствующий определенной метке. Иными словами, если представить набор размеченных данных как таблицу, где в столбцах указаны признаки, а в последнем столбце – метки, то каждая строка, содержащая в себе набор конкретных значений признаков (без последнего столбца), будет, по сути, являться «объектом», при этом в последнем столбце будет значение метки, соответствующей конкретному объекту.

Очевидно, что указанного набора данных клиента недостаточно для нахождения функции зависимости, которая позволила бы предсказывать количество посетителей с высокой степенью точности, что отчасти обусловлено, например, отсутствием информации о количестве машин на парковках за каждый день. Таким образом, требовалось найти наборы данных, содержащие признаки, которые характеризовались бы высокой степенью корреляции с метками и, таким образом, позволили бы найти новую функцию зависимости, обеспечивающую достижение более точного результата прогнозирования.

Реализация заявляемого способа в данном примере, в частности этапов формирования, отправки и предоставления ответа на поисковый запрос, а также дополнительных этапов, во многом аналогична описанной выше в предыдущем примере и поэтому описана в рассматриваемом примере менее детально.

В качестве идентификаторов выступали географические координаты и дата. В результате поиска был найден владелец данных, на информационном узле которого хранился набор данных, содержащий информацию о количестве ежедневно регистрируемых устройств в Wi-Fi сетях с привязкой к географическим координатам. После получения поискового запроса данным информационным узлом объекты были охарактеризованы посредством набора признаков, содержащего признаки из набора данных владельца данных и признаки из набора данных клиента. Таким образом, в полученном размеченном наборе данных объекты охарактеризованы следующими признаками: количество машин на парковках торговых центров, данные о количестве проданных товаров, дата, координаты парковок и количество устройств, зарегистрированных в Wi-Fi сетях. Далее информационным узлом данного владельца данных была найдена функция зависимости между полученным набором признаков, содержащим признаки из набора данных владельца данных и признаки из набора данных клиента, и метками и вычислено значение функции потерь для найденной функции зависимости.

Получив ответ на поисковый запрос, клиент мог сравнить значение функции потерь для функции зависимости, найденной с использованием набора данных, содержащего информацию о количестве устройств, зарегистрированных в Wi-Fi сетях, со значениями функций потерь от других владельцев данных, убедиться в высокой степени релевантности такого набора данных поставленной задаче машинного обучения и принять решение о целесообразности его использования.

Таким образом, настоящее изобретение представляет собой способ поиска данных для задач машинного обучения, реализация основных этапов которого обеспечивает достижение технического результата, заключающегося в повышении степени релевантности результатов поиска задачам машинного обучения, предоставлении оценки указанной степени релевантности для каждого из результатов и, как следствие, упрощении и ускорении процесса поиска в целом.

Должно быть понятно, что заявляемый способ поиска данных для задач машинного обучения, как он определен в прилагаемой формуле изобретения, не обязательно ограничен конкретными признаками и вариантами осуществления, описанными выше. Напротив, конкретные признаки и варианты осуществления, описанные выше, раскрыты в качестве примеров, реализующих формулу, и другие эквивалентные признаки могут быть охвачены формулой настоящего изобретения.

1. Способ поиска данных для задач машинного обучения, содержащий формирование поискового запроса на информационном узле клиента, его отправку и предоставление ответа на поисковый запрос на информационный узел клиента, отличающийся тем, что

при формировании поискового запроса указывают набор данных клиента, содержащий объекты и соответствующие объектам метки;

отправку поискового запроса осуществляют на информационный узел по меньшей мере одного владельца данных;

после получения поискового запроса объекты характеризуют посредством набора признаков, содержащего по меньшей мере один признак из набора данных владельца данных, находят по меньшей мере одну функцию зависимости между набором признаков и метками, вычисляют значение по меньшей мере одной функции потерь для функции зависимости между набором признаков и метками;

после получения поискового запроса находят по меньшей мере одну функцию зависимости между признаками из набора данных клиента и метками, вычисляют значение по меньшей мере одной функции потерь для функции зависимости между признаками из набора данных клиента и метками;

осуществляют сравнение значений функции потерь для функции зависимости между признаками из набора данных клиента и метками и функции потерь для функции зависимости между набором признаков, содержащим по меньшей мере один признак из набора данных владельца данных, и метками;

а в ответ на поисковый запрос включают информацию о по меньшей мере одном владельце данных, у которого значение функции потерь для функции зависимости между набором признаков, содержащим по меньшей мере один признак из набора данных владельца данных, и метками меньше, чем значение функции потерь для функции зависимости между признаками из набора данных клиента и метками.

2. Способ по п. 1, отличающийся тем, что

при формировании поискового запроса задают по меньшей мере один алгоритм машинного обучения;

отправку поискового запроса и предоставление ответа на поисковый запрос осуществляют напрямую или через по меньшей мере один информационный узел поискового сервиса;

а функцию зависимости между набором признаков и метками находят посредством обучения по заданному алгоритму.

3. Способ по п. 1, отличающийся тем, что

отправку поискового запроса и предоставление ответа на поисковый запрос осуществляют напрямую или через по меньшей мере один информационный узел поискового сервиса;

перед нахождением функции зависимости между набором признаков и метками информационным узлом владельца данных определяют тип метки в наборе данных клиента и осуществляют выбор по меньшей мере одного алгоритма машинного обучения для определенного типа метки;

а функцию зависимости между набором признаков и метками находят посредством обучения по выбранному алгоритму.

4. Способ по п. 1, отличающийся тем, что

отправку поискового запроса и предоставление ответа на поисковый запрос осуществляют через по меньшей мере один информационный узел поискового сервиса;

перед нахождением функции зависимости между набором признаков и метками информационным узлом поискового сервиса определяют тип метки в наборе данных клиента и осуществляют выбор по меньшей мере одного алгоритма машинного обучения для определенного типа метки,

а функцию зависимости между набором признаков и метками находят посредством обучения по выбранному алгоритму.

5. Способ по одному из пп. 2-4, отличающийся тем, что в процессе обучения осуществляют выбор гиперпараметров алгоритма машинного обучения с использованием по меньшей мере одного метода перебора.

6. Способ по п. 1, отличающийся тем, что

отправку поискового запроса и предоставление ответа на поисковый запрос осуществляют через по меньшей мере один информационный узел поискового сервиса;

перед формированием поискового запроса при помощи по меньшей мере одного информационного узла владельца данных осуществляют регистрацию метаданных о наборе данных владельца данных на информационном узле поискового сервиса;

при формировании поискового запроса осуществляют регистрацию метаданных о наборе данных клиента на по меньшей мере одном информационном узле поискового сервиса,

а перед отправкой поискового запроса на информационный узел владельца данных осуществляют выбор информационного узла владельца данных на информационном узле поискового сервиса посредством сопоставления метаданных о наборе данных клиента и метаданных о наборе данных владельца данных.

7. Способ по п. 6, отличающийся тем, что

при регистрации метаданных о наборе данных владельца данных и метаданных о наборе данных клиента на информационном узле поискового сервиса определяют идентификаторы объектов в наборе данных владельца данных и наборе данных клиента,

а характеризацию объектов осуществляют посредством нахождения совпадений идентификаторов и их значений в наборе данных владельца данных с идентификаторами и их значениями в наборе данных клиента и привязки значений признаков из набора данных владельца данных, соответствующих каждому из совпавших значений идентификаторов, к объектам из набора данных клиента, характеризующимся совпавшими значениями идентификаторов, соответственно.

8. Способ по п. 6, отличающийся тем, что при регистрации метаданных о наборе данных владельца данных и/или метаданных о наборе данных клиента на информационном узле поискового сервиса определяют временные интервалы, за которые доступны данные в наборе данных владельца данных и/или наборе данных клиента.

9. Способ по п. 1, отличающийся тем, что

в информацию, используемую в качестве ответа на поисковый запрос, включают описание владельца данных, и/или ссылку на сайт владельца данных, и/или ссылку на прикладной интерфейс программирования для доступа к по меньшей мере одному набору данных владельца данных.

10. Способ по п. 1, отличающийся тем, что

при формировании поискового запроса объекты характеризуют посредством по меньшей мере одного признака из набора данных клиента;

после получения поискового запроса объекты характеризуют посредством набора признаков, содержащего по меньшей мере один признак из набора данных владельца данных и по меньшей мере один признак из набора данных клиента.

11. Способ по п. 1, отличающийся тем, что

перед формированием поискового запроса объекты характеризуют посредством по меньшей мере одного признака из набора данных клиента, находят по меньшей мере одну функцию зависимости между признаками из набора данных клиента и метками и вычисляют значение по меньшей мере одной функции потерь для функции зависимости между признаками из набора данных клиента и метками;

при формировании поискового запроса указывают значение вычисленной функции потерь для функции зависимости между признаками из набора данных клиента и метками;

осуществляют сравнение значений функции потерь для функции зависимости между признаками из набора данных клиента и метками и функции потерь для функции зависимости между набором признаков, содержащим по меньшей мере один признак из набора данных владельца данных, и метками;

а в ответ на поисковый запрос включают информацию о по меньшей мере одном владельце данных, у которого значение функции потерь для функции зависимости между набором признаков, содержащим по меньшей мере один признак из набора данных владельца данных, и метками меньше, чем значение функции потерь для функции зависимости между признаками из набора данных клиента и метками.

12. Способ по п. 1, отличающийся тем, что вычисление значения по меньшей мере одной функции потерь осуществляют информационным узлом владельца данных или информационным узлом поискового сервиса.

13. Способ по п. 1, отличающийся тем, что информацию, используемую в качестве ответа на поисковый запрос, сортируют по значениям соответствующих функций потерь.

14. Способ по п. 1, отличающийся тем, что формирование, и/или отправку, и/или предоставление ответа на поисковый запрос осуществляют с использованием интерфейса пользователя и/или прикладного интерфейса программирования.

15. Способ по п. 1, отличающийся тем, что

после вычисления значения функции потерь для функции зависимости между набором признаков и метками вычисляют значение по меньшей мере одной метрики, характеризующей стабильность значений функции потерь на по меньшей мере одном временном интервале;

а в информацию, используемую в качестве ответа на поисковый запрос, включают вычисленное значение метрики, характеризующей стабильность значений функции потерь на по меньшей мере одном временном интервале.

16. Способ по п. 1, отличающийся тем, что

после нахождения функции зависимости вычисляют значение по меньшей мере одной метрики, характеризующей предсказательную силу по меньшей мере одного признака из набора данных владельца данных,

а в информацию, используемую в качестве ответа на поисковый запрос, включают вычисленное значение метрики, характеризующей предсказательную силу по меньшей мере одного признака из набора данных владельца данных.