Основанная на машинном обучениии идентификация неработающих сетевых соединений

Изобретение относится к средствам навигации, к ресурсам в сетевых соединениях. Технический результат заключается в расширении арсенала средств. Предлагаются система и способ, включая компьютерные программы, закодированные на компьютерной запоминающем носителе информации, для идентификации неработающих сетевых соединений. В одном аспекте система включает в себя внешний сервер(ы), который принимает данные, указывающие, для множества разных взаимодействий пользователя с одной или более ссылками приложения, продолжительности представления. Внутренний сервер(ы), который осуществляет связь с внешним сервером(ами), может классифицировать каждую ссылку приложения в качестве неработающей или работающей на основе применения модели машинного обучения к продолжительностям представления для ссылки приложения. Модель машинного обучения может быть сгенерирована с использованием помеченных обучающих данных. Внутренний сервер(ы) может генерировать и выводить предупреждение, идентифицирующее ссылку приложения в качестве неработающей ссылки, на основе того, что ссылка приложения классифицирована в качестве неработающей посредством модели машинного обучения. 3 н и 17 з.п. ф-лы, 6 ил.

 

ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ

Интернет облегчает обмен информацией и транзакциями между пользователями по всему миру. Данный обмен информацией позволяет поставщикам данных предоставлять данные разнообразным пользователям. Данные могут быть предоставлены разнообразными путями, включая публикацию информации в электронных документах (например, web-страницах) и внутри приложения (например, мобильных небольших приложениях (app)). Например, приложение может включать в себя страницы приложения, которые представляют информацию пользователям.

Ссылки могут быть использованы, чтобы помогать пользователями при навигации к ресурсам, которые могут интересовать пользователя. Ссылка может указывать на электронный документ или на конкретное местоположение в приложении (например, на страницу приложения). Тем не менее, некоторые ссылки могут неправильно указывать на документе или страницу приложения. Такие ссылки обычно именуются неработающими ссылками. Например, ссылка может становится неработающей ссылкой, если документ или страница приложения, на которую указывает ссылка, перемещена по новому адресу или удалена из домена, который размещал документ или страницу приложения. В дополнение, ссылка приложения может быть неработающей после обновления приложения или в ответ на то, что сервер, который размещает содержимое приложения, становится недоступен.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Данное техническое описание описывает технологии, относящиеся к использованию машинного обучения, чтобы идентифицировать неработающие сетевые соединения (например, неработающие ссылки приложения) на основе того, насколько долго содержимое было представлено после инициирования (или завершения) сетевых соединения (например, в ответ на взаимодействие пользователя с неработающими ссылками приложения).

В целом, один инновационный аспект изобретения, описываемого в данном техническом описании, может быть воплощен в системе, которая включает в себя один или более внешние серверы, которые принимают данные, указывающие, для множества разных взаимодействий пользователя с одной или более ссылками приложения, которые ссылаются на заданное приложение, продолжительности представления, указывающие, насколько долго содержимое приложения, на которое ссылается ссылка приложения, было представлено после множества разных взаимодействий пользователя с одной или более ссылками приложения. Система также может включать в себя один или более внутренние серверы, которые осуществляют связь с одним или более внешними серверами и выполняют операции, включающие в себя классифицирование каждой ссылки приложения в качестве неработающей или работающей на основе применения модели машинного обучения к продолжительностям представления для ссылки приложения. Модель машинного обучения может быть сгенерирована с использованием помеченных обучающих данных, которые включают в себя, для каждой обучающей ссылки приложения в наборе из обучающих ссылок приложения, набор из продолжительностей представления для обучающей ссылки приложения и метку, которая указывает, является ли обучающая ссылка приложения неработающей или работающей, на основе того привело ли взаимодействие пользователя с обучающей ссылкой приложения к успешному представлению содержимого, на которое указывала обучающая ссылка приложения. Один или более внутренние серверы также могут выполнять операции, включающие в себя генерирование и вывод предупреждения, идентифицирующего заданную ссылку приложения в качестве неработающей ссылки на основе заданной ссылки приложения, классифицированной в качестве неработающей посредством модели машинного обучения. Другие варианты осуществления данного аспекта включают в себя соответствующее устройство, способы, и компьютерные программы, выполненные с возможностью выполнения действий способов, закодированных на компьютерных запоминающих устройствах.

Эти и прочие варианты осуществления могут каждый в качестве необязательной возможности включать в себя один или более из следующих признаков. В некоторых аспектах, модель машинного обучения классифицирует ссылку приложения посредством назначения каждой продолжительности представления для ссылки приложения в группу продолжительностей из набора групп продолжительностей на основе продолжительности. Каждая группа продолжительностей может быть предназначена для диапазона продолжительностей и включать в себя продолжительности представления для ссылки приложения, которые находятся в диапазоне продолжительностей для группы продолжительностей. Модель машинного обучения может классифицировать ссылку приложения в качестве неработающей или работающей на основе шаблона, определяемого некоторым количеством продолжительностей представления, назначенных в каждую группу продолжительностей. Шаблон, определяемый некоторым количеством продолжительностей представления, может включать в себя распределение продолжительностей представления.

В некоторых аспектах, операции, выполняемые системой, могут включать в себя идентификацию набора из ссылок приложения, включающего в себя одну или более ссылок приложения, которые ссылаются на заданное приложение; группирование ссылок приложения в набор из групп ссылок приложения на основе характеристик ссылок приложения в наборе из ссылок приложения; и классифицирование каждой группы ссылок приложения в качестве имеющей неработающие или работающие ссылки на основе применения модели машинного обучения к продолжительностям представления для ссылок приложения в группе ссылок приложения.

В некоторых аспектах, каждая ссылка приложения включает в себя строку символов для идентификации конкретного местоположения внутри конкретного приложения. Операции, выполняемые системой, могут включать в себя идентификацию одного или более шаблонов префикса ссылки приложения для набора из ссылок приложения, который включает в себя одну или более ссылок приложения на основе, по меньшей мере, строки символов ссылок приложения. Каждый шаблон префикса ссылки приложения может указывать строку символов, общую для двух или более ссылок приложения. Для каждого шаблона префикса ссылки приложения, операции, выполняемые системой, могут включать в себя идентификацию группы из ссылок приложения, которые включают в себя строку символов, указанную шаблоном префикса ссылки приложения; идентификацию набора из продолжительностей представления для каждой ссылки приложения в группе из ссылок приложения; применение модели машинного обучения к продолжительностям представления для группы из ссылок приложения; и генерирование и вывод предупреждения, идентифицирующего заданную группу из ссылок приложения для заданного шаблона префикса ссылки приложения в качестве неработающих ссылок на основе модели машинного обучения, классифицирующей набор из ссылок приложения в качестве неработающих.

В некоторых аспектах, операции, выполняемые системой, включают в себя идентификацию одного или более шаблонов префикса ссылки приложения на основе количества продолжительностей представления, доступных для каждого шаблона префикса ссылки приложения. В некоторых аспектах, модель машинного обучения включает в себя модель линейной регрессии.

Конкретные варианты осуществления изобретения, описываемые в данном техническом описании, могут быть осуществлены так, чтобы реализовывать одно или более из следующих преимуществ. Поскольку выбор неработающих ссылок на содержимое приложения может вызывать сбой приложения или неправильное функционирование, идентификация и удаление неработающих ссылок на содержимое приложения может предотвратить такие сбои и/или неправильное функционирование приложения или устройства, исполняющего приложение. Использование машинного обучения, чтобы идентифицировать плохие ссылки приложения, обеспечивает идентификацию плохих ссылок приложения, которые указывают на содержимое приложения, которое не может быть правильно просканировано приложением или web-сканером. Уменьшается неудовлетворенность пользователя посредством уменьшения количества плохих ссылок приложения, которые направляют устройства пользователя на неправильное содержимое приложения или вызывают сбой или неправильное функционирование приложения, исполняемого на устройствах пользователя.

Подробности одного или более вариантов осуществления изобретения, описываемого в данном техническом описании, излагаются на сопроводительных чертежах и на чертежах ниже. Прочие признаки, аспекты, и преимущества изобретения станут очевидны из описания, чертежей, и формулы изобретения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 является примерным вариантом осуществления, в котором система обнаружения неработающей ссылки автоматически обнаруживает неработающую ссылку приложения.

Фиг. 2 является графиком, показывающим изображение примерного распределения продолжительностей представления для ссылки приложения.

Фиг. 3 является графиком, показывающим изображение примерного распределения продолжительностей представления для ссылки приложения.

Фиг. 4 является блок-схемой примерного процесса для обучения модели машинного обучения, чтобы предсказывать, являются ли ссылки приложения неработающими ссылками.

Фиг. 5 является блок-схемой примерного процесса для идентификации неработающих ссылок приложения.

Фиг. 6 является блок-схемой примерного процесса для идентификации шаблонов префикса ссылки приложения у неработающих ссылок приложения.

Подобные ссылочные номера и обозначения на различных чертежах указывают подобные элементы.

ПОДРОБНОЕ ОПИСАНИЕ

Системы и методики, описываемые в данном документе обеспечивают обнаружение неработающих ссылок приложения, включая ссылки приложения, которые не могут быть протестированы посредством выбора ссылок (например, вручную или автоматически) и определение, является ли получаемым содержимое, на которое указывают ссылки приложения. Например, сканер приложения, который используется, чтобы тестировать ссылки приложения таким образом, может не иметь доступа к содержимому приложения, на которое указывают ссылки приложения, поскольку приложению может требоваться информация входа в систему, чтобы осуществлять доступ к содержимому. В другом примере, использование сканера приложения, чтобы тестировать ссылки приложения, может вызывать большие простои сети, чем когда web-сканер используется, чтобы тестировать web-ссылки на web-страницы, тем самым делая использование сканера приложения менее эффективным. Использование машинного обучения вместо сканера приложения может позволить избегать таких простоев сети, и, тем самым, улучшить методики для идентификации неработающих ссылок приложения, например, посредством предоставления более точного анализа неработающей ссылки.

Система может обучать модель машинного обучения, чтобы предсказывать, является ли ссылка приложения неработающей ссылкой на основе продолжительностей представления для ссылки приложения. Продолжительность представления для ссылки приложения указывает то, насколько долго содержимое приложения, на которое ссылается ссылка приложения, было представлено после взаимодействия пользователя с ссылкой приложения. Продолжительность представления может быть измерена с момента, в который происходит взаимодействие пользователя с ссылкой приложения, до момента, в который приложение закрывается или приложение осуществляет навигацию на другое содержимое, например, в ответ на взаимодействие пользователя с приложением. Если происходит сбой приложения, продолжительность представления может быть измерена с момента, в который происходит взаимодействие пользователя с ссылкой приложения, и до момента, в который происходит сбой приложения.

В некоторых реализациях, модель машинного обучения классифицирует ссылку приложения в качестве неработающей или работающей на основе распределений продолжительностей представления для ссылки приложения. Например, если ссылка приложения имеет, по существу, больше (например, больше, чем указанное количество или процент) коротких продолжительностей представления (например, тех, которые меньше пороговой продолжительности), чем длинных продолжительностей представления (тех, которые больше пороговой продолжительности), ссылка приложения может иметь шаблон распределения, который предполагает, что ссылка приложения является неработающей. В другом примере, если ссылка приложения имеет естественное распределение продолжительности представления с небольшим количеством (например, меньше пороговой величины) коротких продолжительностей представления, ссылка приложения может иметь шаблон распределения, который предполагает, что ссылка приложения работает правильно и она не неработающая.

Модель машинного обучения также может предсказывать (например, определять), являются ли группы из ссылок приложения неработающими. Ссылки приложения могут быть сгруппированы в группы ссылок приложения на основе шаблона префикса ссылок приложения. Каждая ссылка приложения может включать в себя строку символов для идентификации конкретного местоположения внутри конкретного приложения, например, конкретную страницу приложения у приложения, конкретное видео у видео приложения, или конкретную страницу ресторана у приложения обзора ресторанов. Каждый шаблон префикса ссылки приложения может указывать строку символов, которая является общей для множества ссылок приложения. Например, строкой символов первой ссылки приложения может быть «appname:itemcategory1/item1» (имя приложения: категория 1 элемента/элемент 1), и строкой символов второй ссылки приложения может быть «appname:itemcategory1/item2». Шаблоном префикса ссылки приложения для этих двух ссылок приложения может быть «appname:itemcategory/», поскольку данная строка символов является общей для (например, одной и той же в) обеих ссылок приложения. Поскольку ссылки приложения, которые имеют совпадающий (например, один и тот же или в пределах указанной меры сходства, основанной на количестве совпадающих символов) шаблон префикса часто становятся неработающими в одно и то же время или по той же самой причине, группирование ссылок приложения посредством шаблона префикса позволяет модели машинного обучения предсказывать, стали ли ссылки в группе неработающими, без необходимости запуска модели по продолжительностям представления для каждой ссылки приложения отдельно. Данное группирование может привести к более быстрым классификациям с использованием меньшего количества вычислительных ресурсов по отношению к запуску модели по каждой из ссылок приложения отдельно. Группирование также может увеличить объем выбора данных продолжительностей, используемых моделью машинного обучения для конкретной классификации, приводя к более точным предсказаниям из-за уменьшенного эффекта искаженных или неправильных данных.

Фиг. 1 является примерной средой 100, в которой система 110 обнаружения неработающей ссылки автоматически обнаруживает неработающие ссылки приложения. Система 110 обнаружения неработающей ссылки включает в себя один или более внешние серверы 112 и один или более серверы 114 классификации ссылки. Внешний сервер(ы) 112 может принимать данные, указывающие продолжительности представления от клиентских устройств 142 (например, клиентских устройств 142-A и 142-B) через сеть 130. Внешний сервер(ы) 112 также может передавать уведомления или предупреждения клиентским устройствам 142 через сеть 130, например, в ответ на ссылку приложения, классифицированную в качестве неработающей ссылки. Сеть 130 может включать в себя локальную сеть (LAN), глобальную сеть (WAN), Интернет, мобильную сеть, или их сочетание.

Каждое клиентское устройство 142 может включать в себя одно или более приложения 146 и средство 144 мониторинга продолжительности. Например, клиентское устройство 142-A включает в себя приложение 146-A и средство 144-A мониторинга продолжительности. Сходным образом, клиентское устройство 142-B включает в себя приложение 146-B и средство 144-B мониторинга продолжительности. Приложения 146 могут включать в себя собственные приложения, которые разработаны для конкретной платформы или конкретного типа устройства.

Пользователь может осуществлять доступ к содержимому приложения 146 посредством взаимодействия с (например, выбора) ссылкой приложения, которая указывает на (например, ссылается на сетевое местоположение) приложение или конкретное местоположение внутри приложения. Ссылка приложения может включать в себя строку символов, которая предписывает клиентскому устройств 142 открывать приложение 146 (если приложение 146 еще не открыто) и осуществлять навигацию к конкретному местоположению, на которое указывает ссылка приложения, в ответ на взаимодействие пользователя с ссылкой приложения. Например, строка символов может идентифицировать приложение 146 и конкретное местоположение внутри приложения 146, на которое указывает ссылка приложения. Ссылки приложения могут быть внешними ссылками в форме или унифицированным идентификатором ресурса (URI), которые ссылаются на конкретную страницу (или экран интерфейса пользователя) у приложения отличную от страницы наивысшего уровня (например, страница приветствия или страница входа) у приложения.

Ссылки приложения могут быть представлены на web-странице, внутри приложений, на страницах результатов поиска, и/или на других типах электронных ресурсов. Одна и та же ссылка приложения может быть представлена на множестве разных ресурсах и взаимодействие с ней может осуществляться посредством множества разных пользователей. Как описано выше, ссылка приложения может становиться неработающей, если приложение 146 обновляется, становится недоступным сервер, размещающий содержимое приложения (например, переходит в автономный режим), или из-за других событий, которые могут не быть легко очевидны пользователю. В таких случаях, взаимодействие пользователя с ссылкой приложения (на любом ресурсе, на котором представлена ссылка приложения) может вызывать сбой приложения, на которое указывает ссылка приложения, или вызывать представление приложением неправильного содержимого. Таким образом, идентификация и удаление неработающих ссылок приложения из электронных ресурсов может предотвратить такой сбой и представления неправильного содержимого, тем самым улучшая восприятие пользователя в отношение приложения.

Неработающая ссылка является ссылкой, которая неправильно ссылается на конкретное приложение или конкретное местоположение внутри приложения. Например, неработающая ссылка приложения может ссылаться на местоположение внутри приложения, которое не существует. В другом примере, неработающая ссылка приложения может быть ссылкой на местоположение внутри приложения, которое ранее существовало, но не существует в настоящий момент из-за того, что сервер, который размещает содержимое в местоположении, является недоступным или содержимое было перемещено в другое местоположение, например, из-за обновления в приложении.

Ссылка приложения также может быть неработающей, если ссылка приложения правильно ссылается на неправильное содержимое. Например, ссылка приложения может быть предназначенной, чтобы ссылаться на конкретную новость, но фактически ссылается на другую новость. В данном примере, пользователю, который взаимодействует с ссылкой приложения, может быть представлена другая новость и он может закрыть приложение или вернуться к приложению или содержимому, который включает в себя ссылку, не читая другую новость. Посредством идентификации и удаления таких неработающих ссылок приложения можно улучшить восприятие пользователя и уменьшить количество сетевых запросов, инициируемых, чтобы извлечь содержимое, что приводит к более хорошей эффективности сети и сокращает требование к сетевым ресурсам.

Средства 144 мониторинга продолжительности могут осуществлять мониторинг продолжительности представления содержимого приложения. Например, средства 114 мониторинга продолжительности могут осуществлять мониторинг продолжительности представления содержимого, которое представляется после взаимодействия пользователя с (например, выбора) ссылкой приложения, которая указывает на содержимое приложения. Продолжительность представления может быть измерена от момента, в который происходит взаимодействие пользователя с ссылкой приложения, до момента, в который приложение закрывается или приложение осуществляет навигацию к другому содержимому, например, в ответ на взаимодействие пользователя с приложением. Например, пользователь может выбирать ссылку приложения (например, которая представлена на странице результатов поиска) на конкретное местоположение внутри приложения в 12:01 и содержимое в конкретном местоположении может быть представлен пользователю через приложение. В ответ на выбор, средство 144 мониторинга продолжительности (или поисковая система, которая предоставляет страницу результатов поиска) может записывать время выбора в журнал регистрации (например, журнал регистрации поиска). Если пользователь выбирает кнопку возврата или иным образом выходит из приложения, клиентское устройство 142 может возвращаться к странице результатов поиска. Средство 144 мониторинга продолжительности (или поисковая система) может записывать в журнал регистрации время, в которое клиентское устройство 142 закрыло приложение или вернулось к странице результатов поиска, например, 12:05. В данном примере, средство 144 мониторинга продолжительности может получать два момента времени, например, из журнала регистрации, и определять продолжительность представления посредством вычитания 12:01 из 12:05. Таким образом в данном примере, продолжительность представления составляет 4 минуты. Если происходит сбой приложения, продолжительность представления может быть измерена с момента, в который происходит взаимодействие пользователя с ссылкой приложения, и до момента, в который происходит сбой приложения. Например, средство 144 мониторинга продолжительности может принимать сообщение, например, от приложения или операционной системы клиентского устройства, которое указывает время, в которое произошел сбой приложения.

Средство 144 мониторинга продолжительности может осуществлять мониторинг и записывать продолжительности представления для множества разных ссылок приложения, которые принимают взаимодействие пользователя на клиентском устройстве 142. Средство 144 мониторинга продолжительности также может передавать данные, указывающие продолжительности представления для каждой ссылки приложения внешнему серверу(ам) 112 системы 110 обнаружения неработающей ссылки. Внешний сервер(ы) 112 может принимать продолжительности представления от множества разных клиентских устройств 142, ассоциированных со множеством разных пользователяей. Например, внешний сервер(ы) 112 может принимать продолжительности представления от клиентского устройства 142-A, ассоциированного с первым пользователем, и от клиентского устройства 142-B, ассоциированного с вторым пользователем, отличным от первого пользователя. Таким образом, продолжительности выбора для заданной ссылки приложения могут быть агрегированы по множеству разных пользователей.

Внешний сервер(ы) 112 может предоставлять принятые продолжительности представления серверу(ам) 114 классификации ссылки. В свою очередь, сервер(ы) 114 классификации ссылки может сохранять продолжительности представления в базе 118 данных продолжительностей представления, например, хранящейся на устройстве хранения данных. Каждая продолжительность представления может быть сохранена с ассоциацией с ссылкой приложения, для которой была записана продолжительность представления.

Сервер(ы) 114 классификации ссылки, который может быть реализован в качестве одного или более внутренних серверов, может обучать модель 116 машинного обучения, чтобы предсказывать, является ли ссылка приложения неработающей и/или являются ли ссылки приложения в группе ссылок приложения неработающими. Примерная методика для обучения модели машинного обучения иллюстрируется на Фиг. 4 и описывается ниже. Модель 116 машинного обучения может классифицировать ссылку приложения в качестве неработающей или работающей (например, не неработающей) на основе продолжительностей представления для ссылки приложения. Например, сервер(ы) 114 классификации ссылки может применять модель 116 машинного обучения к набору продолжительностей представления для ссылки приложения и классифицировать ссылку приложения на основе набора из продолжительностей представления. Набор из продолжительностей представления используемый, чтобы классифицировать ссылку приложения, может быть тем, что для представлений содержимого, которые происходят внутри конкретного периода времени, например, в течение предыдущего дня или недели, после взаимодействия пользователя с ссылкой приложения.

В некоторых реализациях, модель 116 машинного обучения классифицирует ссылку приложения в качестве неработающей ссылки или работающей ссылки на основе распределения продолжительностей представления для ссылки приложения. В данном примере, сервер(ы) 114 классификации ссылки может иметь набор из групп продолжительностей и каждая группа продолжительностей может соответствовать диапазону продолжительностей. Например, группы могут включать в себя первую группу для продолжительностей 0-3 секунды, вторую группу для продолжительностей 3-6 секунд, третью группу для продолжительностей 6-9 секунд, и т.д. Сервер(ы) 114 классификации ссылки может идентифицировать, для каждой продолжительности представления, диапазон продолжительностей, в который попадает продолжительность представления, и назначать продолжительность представления в группу продолжительностей, соответствующей тому диапазону продолжительностей. Например, сервер(ы) 114 классификации ссылки может назначать продолжительность представления в 7 секунд в группу продолжительностей с диапазоном 6-9 секунд.

Сервер(ы) 114 классификации ссылки может определять счетчик количества продолжительностей представления, назначенных в каждую группу продолжительностей. Счетчики для каждой группы продолжительностей определяют распределение продолжительностей представления для ссылки приложения. В частности, распределение для ссылки приложения указывает, для каждого из набора групп продолжительностей, количество продолжительностей представления для ссылки приложения, назначенных в группу продолжительностей. Примерное распределение для ссылки приложения иллюстрируется на Фиг. 2 и описывается ниже. Модель 116 машинного обучения может быть применена к счетчикам каждой группы продолжительностей для ссылки приложения и может классифицировать ссылку приложения на основе счетчиков. Например, сервер(ы) 114 классификации ссылки может генерировать признаковый вектор, который включает в себя векторный элемент для каждой группы продолжительностей. Значение каждого векторного элемента может быть равно (или пропорционально) счетчику количества продолжительностей представления для ссылки приложения, назначенных в группу продолжительностей, которая соответствует векторному элементу. Например, признаковый вектор может включать в себя векторный элемент, который соответствует группе продолжительностей 6-9 секунд. Значение данного элемента вектора может быть количеством продолжительностей представления для ссылки приложения, которые находились между 6 и 9 секундами. Сервер(ы) классификации ссылки может применять модель 116 машинного обучения к признаковому вектору, сгенерированному для ссылки приложения, чтобы классифицировать ссылку приложения в качестве неработающей или работающей.

Посредством классификации ссылки приложения на основе распределения продолжительностей представления, модель 116 машинного обучения может учитывать шаблоны продолжительностей представления по множеству запросов для приложения посредством множества разных клиентских устройств 142. Например, неработающие ссылки приложения могут привести к большому количеству продолжительностей представления, назначенных в группы продолжительностей, которые имеют короткие продолжительности, при этом со значительно меньшим количеством продолжительностей представления, назначенных в группы продолжительностей с более длительными продолжительностями. В противоположность, работающая ссылка приложения может иметь значительное количество (например, больше, чем пороговое количество) продолжительностей представления, назначенных многим разным в группы продолжительностей, включая те, что с более длительными продолжительностями. Может быть выполнено обучение модели 116 машинного обучения для идентификации разнообразных разных шаблонов распределения, которые соответствуют неработающим ссылкам приложения, и разнообразным разным шаблонам распределения, которые соответствуют работающим ссылкам приложения, как описывается более подробно ниже.

Модель 116 машинного обучения может классифицировать группы из ссылок приложения образом сходным с индивидуальными ссылками приложения. Например, сервер(ы) 114 классификации ссылки может идентифицировать, для каждой ссылки приложения, включенной в группу ссылок приложения, продолжительности представления для ссылки приложения и агрегировать продолжительности представления для группы. Сервер(ы) 114 классификации ссылки затем может применять модель 116 машинного обучения к продолжительностям представления для группы из ссылок приложения и выводить классификацию того, являются ли ссылки приложения в группе, в целом, неработающими. Например, классификация неработающих для группы может указывать, что каждая ссылка в группе является неработающей. В ответ, сервер(ы) 114 классификации может генерировать предупреждение, которое указывает, что ссылки приложения в группе могут быть неработающими, и передает предупреждение внешнему серверу(ам) 112. В свою очередь, внешний сервер(ы) 112 может передавать предупреждение клиентскому устройству системного администратора, который может в дальнейшем изучать ссылки приложения в группе.

Чтобы классифицировать группу из ссылок приложения, сервер(ы) 114 классификации ссылки может генерировать распределение продолжительностей представления для ссылок приложения в группе и применять модель машинного обучения к распределению. Например, сервер(ы) 114 классификации ссылки может генерировать признаковый вектор для группы образом сходным с признаковым вектором для индивидуальной ссылки приложения. Сервер(ы) 114 классификации ссылки может генерировать признаковый вектор, который включает в себя векторные элементы для каждой группы продолжительностей в наборе групп продолжительностей. Значение каждого векторного элемента может быть равно (или пропорционально) счетчику количества продолжительностей представления для группы из ссылок приложения, назначенных в группу продолжительностей, которая соответствует векторному элементу. Например, признаковый вектор может включать в себя векторный элемент, который соответствует группе продолжительностей 1-3 секунды. Значение данного векторного элемента может быть суммарным количеством продолжительностей представления для группы, которые находились между 1 и 3 секундами. Для иллюстрации, группа может иметь в качестве членов две ссылки приложения. Одна из двух ссылок приложения возможно имела десять продолжительностей представления, которые находились между 1 и 3 секундами, а другая ссылка приложения возможно имела пять продолжительностей представления, которые находились между 1 и 3 секундами. В данном примере, векторный элемент, который соответствует группе продолжительностей 1-3 секунды может иметь значение 15. Сервер(ы) классификации ссылки может применять модель 116 машинного обучения к признаковому вектору, сгенерированному для группы из ссылок приложения, чтобы классифицировать ссылки приложения в группе в качестве неработающих или работающих.

Сервер(ы) 114 классификации ссылки может назначать набор из ссылок приложения группам на основе одной или более характеристик у ссылок приложения и/или одной или более характеристик у приложений или содержимого приложения, на который указывают ссылки приложения. Сервер(ы) 114 классификации ссылки может сохранять данные, идентифицирующие группы и каждых членов группы в базе 120 данных групп ссылок. В некоторых реализациях, сервер(ы) 114 классификации ссылки может назначать ссылки приложения группам на основе строк символов, включенных в ссылки приложения. Как описано выше, ссылки приложения могут быть сгруппированы на основе шаблонов префикса у ссылок приложения. В данном примере, сервер(ы) 114 классификации ссылки может идентифицировать строки символов, найденные в одной или более ссылках приложения, для которых генерировать группу. В конкретном примере, сервер(ы) 114 классификации ссылки могут идентифицировать строки символов, которые являются общими для (например, одними и теми же в) двух или более ссылок приложения и генерировать группу для шаблона префикса ссылки приложения, определяемую общей строкой символов.

В некоторых реализациях, шаблоны префикса ссылки приложения основаны на строках символов, которые начинаются с начала строк символов у ссылок приложения. Например, строкой символов первой ссылки приложения может быть «appname:itemcategory1/item1», а строкой символов второй ссылки приложения может быть «appname:itemcategory1/item2». В данном примере, сервер(ы) 114 классификации ссылки может оценивать строку символов слева направо и определять, что две ссылки приложения имеют общий префикс в виде «appname:itemcategory1/». В ответ, сервер(ы) 114 классификации ссылки может генерировать группу для шаблона префикса ссылки приложения «appname:itemcategory1/» и включать, в группу, каждую ссылку приложения, которая имеет строку символов, которая начинается с шаблона префикса ссылки приложения.

Сервер(ы) 114 классификации ссылки может генерировать группы на основе количества ссылок приложения и/или количества продолжительностей представления, доступных для каждой потенциальной группы. Например, сервер(ы) 114 классификации ссылки может идентифицировать строки символов, которые являются общими для двух или более ссылок приложения. Для каждой идентифицированной строки символов, сервер(ы) 114 ссылки приложения может идентифицировать количество ссылок приложения, которые включают в себя строку символов. Сервер(ы) 114 ссылки приложения затем может генерировать группу для каждой строки символов, для которой, по меньшей мере, пороговое количество ссылок приложения включает в себя строку символов. В другом примере, сервер(ы) 114 классификации ссылки может ранжировать строку символов на основе количества ссылок приложения, которые включают в себя строку символов, и генерировать группу для первых N строк символов, где «N» является указанным количеством (например, указанным администратором системы обнаружения неработающей ссылки и которое может быть получено из хранилища данных или цифрового устройства памяти). Для каждой группы, сервер(ы) 114 классификации ссылки может наполнять группу ссылками приложения, которые включают в себя строку символов для которой группа была сгенерирована.

Сходным образом, сервер(ы) 114 классификации ссылки может идентифицировать строки символов, которые являются общими для (например, одними и теми же в) двух или более разных ссылках приложения. Для каждой идентифицированной строки символов, сервер(ы) 114 классификации ссылки может идентифицировать суммарное количество продолжительностей представления, хранящихся в базе 118 данных продолжительностей представления для ссылок приложения, которые включают в себя строку символов. Если сервер(ы) 114 классификации ссылки использует модель 116 машинного обучения, чтобы классифицировать ссылки приложения на основе продолжительностей представления для конкретного периода времени (например, предыдущего дня), сервер(ы) классификации ссылки может идентифицировать суммарное количество продолжительностей представления для ссылок приложения, которые включают в себя строку символов, и для которых продолжительность представления происходила, по меньшей мере, частично внутри конкретного периода времени. Например, продолжительность представления может частично происходить внутри конкретного периода времени, если представление содержимого приложения было инициировано внутри конкретного периода времени, но продолжалось до тех пор, пока не закончится конкретный период времени. Сервер(ы) 114 классификации ссылки может генерировать группу для каждой строки символов, для которой, по меньшей мере, пороговое количество продолжительностей представления доступны для ссылок приложения, которые включают в себя строку символов. В другом примере, сервер(ы) 114 классификации ссылки может ранжировать строку символов на основе количества доступных продолжительностей представления и генерировать группу для первых N строк символов, где «N» является указанным количеством. Для каждой группы, сервер(ы) 114 классификации ссылки может наполнять группу ссылками приложения, которые включают в себя строку символов, для которой группа была сгенерирована.

Сервер(ы) 114 классификации ссылки также может генерировать группы для конкретных приложений. Например, сервер(ы) классификации ссылки может создавать группу для конкретного приложения и включать, в группу для конкретного приложения, каждую ссылку приложения, которая указывает на приложение или конкретное местоположение внутри конкретного приложения.

Сервер(ы) 114 классификации ссылки также может классифицировать ссылки приложения и/или группы из приложений на основе изменений в продолжительностях представления со временем. Например, если продолжительности представления для ссылки приложения значительно уменьшились (например, на, по меньшей мере, пороговую величину), ссылка приложения возможно стала неработающей. Чтобы классифицировать ссылку приложения, сервер(ы) 114 классификации ссылки может определять среднюю продолжительность представления для ссылки приложения для каждого дня (или другого подходящего периода времени) по конкретному периоду времени, например, предыдущей неделе. Сервер(ы) приложения также может определять среднюю продолжительность представления для ссылки приложения для конкретного дня (или другого подходящего периода времени). Сервер(ы) 114 классификации ссылки затем может сравнивать среднюю продолжительность представления для текущего дня со средними продолжительностями представления для предыдущих дней (или объединенным средним для всех предыдущих дней на рассмотрении). Если средняя продолжительность представления для текущего дня является, по меньшей мере, на пороговую величину меньше средней продолжительности(ей) представления для предыдущих дней, сервер(ы) 114 классификации ссылки может классифицировать ссылку приложения в качестве неработающей ссылки.

В некоторых реализациях, сервер(ы) 114 классификации ссылки может не классифицировать ссылку приложения, если стандартное отклонение у средних продолжительностей представления для предыдущих дней превышает пороговую величину. Например, высокое стандартное отклонение (например, то, которое превышает пороговую величину) может указывать на то, что данные не являются достаточно стабильными, чтобы быть использованными для классификации ссылки приложения, тем самым предотвращая вывод серверами 114 классификации ссылки ошибочных классификаций.

Фиг. 2 является графиком 200, показывающим представление примерного распределения продолжительностей представления для ссылки приложения. График 200 иллюстрирует группы продолжительностей представления и для каждой группы продолжительностей, счетчик количества продолжительностей представления, назначенных в каждую группу продолжительностей. В данном примере, каждая из групп продолжительностей для диапазона продолжительности в две секунды. Например, первая группа продолжительностей является для диапазона продолжительности 0-2 секунды и первая группа продолжительностей была назначена десяти продолжительностям представления. Т.е., содержимое приложения, на которое ссылается ссылка приложения, было просмотрено десять раз с продолжительностью между 0-2 секундами. В некоторых реализациях, распределение может быть основано на проценте продолжительностей представления, назначенных в каждую группу продолжительностей, вместо счетчика количества длительностей представления, назначенного в каждую группу продолжительностей.

Модель машинного обучения может быть применена к распределению, чтобы предсказывать (например, определять), является ли ссылка приложения работающей или неработающей. Данное примерное распределение может представлять собой продолжительности представления для неработающей ссылки, поскольку большая часть продолжительностей представления являются меньше двадцати секунд и присутствует небольшое количество продолжительностей представления, которые были больше тридцати секунд. Таким образом, модель машинного обучения может выводить классификацию в виде неработающей для данного примерного распределения.

Фиг. 3 является графиком 300, показывающим представление примерного распределения продолжительностей представления для ссылки приложения. Сходно с графиком 200 на Фиг. 2, график 300 иллюстрирует группы продолжительностей представления, и, для каждой группы продолжительностей, счетчик количества продолжительностей представления назначается в каждую группу продолжительностей. Модель машинного обучения может быть применена к распределению, чтобы предсказывать (например, определять), является ли ссылка приложения работающей или неработающей. Данное примерное распределение может представлять продолжительности представления для работающей ссылки, поскольку продолжительности представления распределяются по диапазону длительностей и не являются сильно взвешенными в сторону коротких продолжительностей представления. Таким образом, модель машинного обучения может выводить классификацию в виде работающей для данного примерного распределения.

Фиг. 4 является блок-схемой примерного процесса 400 для обучения модели машинного обучения, чтобы предсказывать, являются ли ссылки приложения неработающими ссылками. Операции процесса 400 могут быть реализованы, например, посредством системы, которая включает в себя одно или более устройства обработки данных, такой как система 110 обнаружения неработающей ссылки с Фиг. 1. Процесс 400 также может быть реализован посредством инструкций, хранящихся на компьютерном запоминающем носителе информации, где исполнение инструкций посредством системы, которая включает в себя устройство обработки данных, предписывает устройству обработки данных выполнять операции процесса 400.

Система идентифицирует набор обучающих ссылок приложения (402). Например, система может осуществлять доступ к базе данных или индексу, который включает в себя данные, идентифицирующие обучающие ссылки приложения и помеченные обучающие данные для каждой обучающей ссылки приложения. Обучающие ссылки приложения могут быть ссылками приложения, для которых доступны помеченные обучающие данные. Например, обучающие ссылки приложения могут быть ссылками приложения, для которых рабочий статус (например, работающая или неработающая) известен и для которых существует, по меньшей мере, пороговое количество фактических продолжительностей представления, доступных для использования при обучении модели машинного обучения. Обучающие ссылки приложения могут быть идентифицированы таким образом, что набор включает в себя, по меньшей мере, пороговое количество работающих ссылок приложения и, по меньшей мере, пороговое количество неработающих ссылок приложения.

Система получает помеченные обучающие данные для каждой обучающей ссылки приложения (404). Например, система может осуществлять доступ к базе данных, идентифицировать помеченные обучающие данные, которые являются с индексом на каждую обучающую ссылку приложения, и извлекать помеченные обучающие данные для обучающих ссылок приложения. Помеченные обучающие данные для каждой обучающей ссылки приложения могут включать в себя набор из продолжительностей представления для обучающей ссылки приложения и метку. Метка для обучающей ссылки приложения может указывать, является ли обучающая ссылка приложения неработающей или работающей. Например, метка для ссылки приложения может указывать, является ли обучающая ссылка приложения неработающей или работающей на основе того, предписывает ли взаимодействие пользователя с обучающей ссылкой приложения устройству осуществлять навигацию к содержимому, на которое указывает обучающая ссылка приложения.

В некоторых реализациях, один или более системные администраторы и/или один или более пользователи тестируют обучающие ссылки приложения и обновляют соответственно метки. Например, системный администратор может взаимодействовать с (например, выбирать) обучающей ссылок приложения и осуществлять мониторинг, чтобы увидеть, было ли представлено содержимое, на которое ссылается обучающая ссылка приложения. Если корректное содержимое было представлено после взаимодействия с обучающей ссылкой приложения, системный администратор может обновлять метку для обучающей ссылки приложения, чтобы указывать, что обучающая ссылка приложения является работающей. Если приложение, на которое ссылается обучающая ссылка приложения, не открывается или содержимое, на которое ссылается обучающая ссылка приложения, не было представлено после взаимодействия с обучающей ссылкой приложения, системный администратор может обновлять метку, чтобы указывать, что обучающая ссылка приложения является неработающей. В другом примере, пользователям, которые взаимодействуют с обучающей ссылкой приложения, было предложено, например, автоматически с использованием элемента интерфейса пользователя выбрать, является ли обучающая ссылка приложения работающей или неработающей.

Система обучает модель машинного обучения, чтобы предсказывать, является ли ссылка приложения работающей или неработающей с использованием обучающих данных (406). В некоторых реализациях, система может генерировать модель машинного обучения посредством разбиения части обучающих ссылок приложения и соответствующих продолжительностей представления и меток на обучающий набор и тестирующий набор. Обучение модели машинного обучения затем может осуществляться с использованием продолжительности представления у каждой обучающей ссылки приложения в обучающем наборе и метки для каждой из обучающей ссылки приложения в обучающем наборе. В некоторых реализациях, модель машинного обучения может включать в себя один или более весовые коэффициенты, ассоциированные с конкретными признаками продолжительностей представления, например, весовые коэффициенты для каждой группы продолжительностей, весовые коэффициенты для размеров продолжительностей представления, и/или весовые коэффициенты для относительного количества продолжительностей представления, которые находятся в каждой группе продолжительностей. Обучение предсказывающей модели может включать в себя регулирование весовых коэффициентов, ассоциированных с признаками и сочетаниями признака, которые обнаруживаются как предсказывающие, является ли ссылка приложения неработающей или работающей. Разнообразные способы и методики для корреляции признаков и меток могут быть использованы, такие как кластеризация, линейная регрессия, логистическая регрессия, и нелинейная регрессия.

После обучения предсказывающей модели, затем модель может быть протестирована с использованием продолжительности представления обучающих ссылок приложения в тестирующем наборе или в другом тестирующем наборе. Весовые коэффициенты, ассоциированные с каждым признаком в модели машинного обучения, затем могут быть отрегулированы на основе результатов тестирования.

Фиг. 5 является блок-схемой примерного процесса 500 для идентификации неработающих ссылок приложения. Операции процесса 500 могут быть реализованы, например, посредством системы, которая включает в себя одно или более устройства обработки данных, такой как система 110 обнаружения неработающей ссылки с Фиг. 1. Процесс 500 также может быть реализован посредством инструкций, хранящихся на компьютерном запоминающем носителе информации, где исполнение инструкций посредством системы, которая включает в себя устройство обработки данных, предписывает устройству обработки данных выполнять операции процесса 500.

Система принимает данные, указывающие продолжительности представления для одной или более ссылок приложения для заданного приложения (502). Каждая из одной или более ссылок приложения может ссылаться на конкретное местоположение внутри, или конкретное содержимое, заданного приложения. Каждая продолжительность представления может указывать то, насколько долго содержимое положения, на которое ссылается ссылка приложения, было представлено после взаимодействия пользователя с ссылкой приложения.

Данные могут включать в себя продолжительности представления для множества разных взаимодействий пользователя с каждой из одной или более ссылок приложения. Например, каждая ссылка приложения может принимать взаимодействия от множества разных пользователей. В ответ на каждое взаимодействие, содержимое приложения, на которое ссылается ссылка приложения, может быть представлено пользователю, который взаимодействовал с ссылкой приложения. Для каждого взаимодействия пользователя, система может осуществлять мониторинг продолжительности, в течение которой содержимое приложения было представлено после взаимодействия пользователя, и записывать продолжительность в качестве продолжительности представления для ссылки приложения.

Если ссылка приложения является неработающей, содержимое приложения может быть не представлено пользователю, или неправильное содержимое может быть представлено пользователю. Если происходит сбой приложения, продолжительность представления может указывать величину времени между взаимодействием пользователя с приложением и сбоем приложения. Если приложение не открылось, продолжительность представления может быть нулем. Если представляется неправильное содержимое, продолжительность представления может быть короткой (например, меньше, чем пороговая продолжительность), поскольку пользователь может осуществлять навигацию из неправильного содержимого или закрывать приложение.

Система классифицирует каждую ссылку приложения в качестве неработающей или работающей на основе применения модели машинного бучения к продолжительностям представления для ссылки приложения (504). Например, система может идентифицировать модель машинного обучения, обучение которой было осуществлено, чтобы предсказывать, является ли ссылка приложения работающей или неработающей на основе продолжительностей представления, наблюдаемых для ссылки приложения. Обучение модели машинного обучения может быть осуществлено, например, с использованием примерного процесса 400, иллюстрируемый на Фиг. 4 и описанный выше.

В некоторых реализациях, модель машинного обучения предсказывает, является ли ссылка приложения работающей или неработающей на основе распределения продолжительностей представления. Например, система может назначать каждую продолжительность представления в группу продолжительностей, которая имеет диапазон продолжительностей, в который попадает продолжительность представления. Система может определять счетчик количества продолжительностей представления, назначенных в каждую группу продолжительностей. Счетчики для каждой группы продолжительностей определяют распределение продолжительностей представления для ссылки приложения. Модель машинного обучения может быть применена к счетчикам для каждой группы продолжительностей и модель машинного обучения может выводить, на основе счетчиков, классификацию в виде работающей или неработающей для ссылки приложения.

В некоторых реализациях, модель машинного обучения может быть применена к признаковому вектору для ссылки приложения. В данном примере, признаковый вектор может включать в себя векторные элемент для каждой группы продолжительностей. Значение каждого векторного элемента может быть равно (или пропорционально) счетчику количества продолжительностей представления для ссылки приложения, назначенной в группу продолжительностей, которая соответствует векторному элементу.

Система генерирует и выводит предупреждение для каждой ссылки приложения, которая классифицирована в качестве неработающей ссылки моделью машинного обучения (506). Предупреждение для заданной ссылки приложения может идентифицировать заданную ссылку приложения в качестве неработающей ссылки на основе того, что заданная ссылка приложения классифицируется в качестве неработающей моделью машинного обучения. Система может передавать предупреждение клиентскому устройству системного администратора. В ответ, системный администратор может дополнительно исследовать ссылку приложения. Если системный администратор определяет, что ссылка приложения является неработающей, системный администратор может удалять неработающую ссылку из одного или более электронных ресурсов, которые включают в себя ссылку и/или исправлять ссылку.

Фиг. 6 является блок-схемой примерного процесса 600 для идентификации шаблонов префикса ссылки приложения у неработающих ссылок приложения. Операции процесса 600 могут быть реализованы, например, посредством системы, которая включает в себя одно или более устройства обработки данных, такой как система 110 обнаружения неработающей ссылки на Фиг. 1. Процесс 600 также может быть реализован посредством инструкций, хранящихся на компьютерном запоминающем носителе информации, где исполнение инструкцией посредством системы, которая включает в себя устройство обработки данных, предписывает устройство обработки данных выполнять операции процесса 600.

Система идентифицирует один или более шаблоны префикса ссылки приложения для набора из ссылок приложения на основе, по меньшей мере, строки символов у ссылок приложения (602). Например, как описано выше, каждая ссылка приложения может включать в себя строку символов для идентификации конкретного местоположения внутри конкретного приложения. Система может идентифицировать строки символов, которые являются общими для двух или более ссылок приложения, и генерировать группу для шаблона префикса ссылки приложения, определяемую посредством общей строки символов. Как описано выше, группы ссылок приложения могут быть сгенерированы на основе количества ссылок приложения и/или количества продолжительностей представления, доступных для каждой потенциальной группы.

Для каждого шаблона префикса ссылки приложения, идентифицируют группу из ссылок приложения, которые включают в себя строку символов, указанную шаблоном префикса ссылки приложения (604). Например, система может сравнивать строку символов, указанную шаблоном префикса ссылки приложения, со строкой символов каждой ссылки приложения. Каждая ссылка приложения, которая включает в себя набор из символов, которые совпадают со строкой символов, указанной шаблоном префикса ссылки приложения, может быть включена в группу ссылок приложения для шаблона префикса ссылки приложения. Например, первая строка символов может считаться совпадающей со второй строкой символов, если обе строки символов являются одинаковыми или имеют, по меньшей мере, указанное сходство. Сходство между строками символов может быть основано на количестве символов (или проценте символов) в строках символов, которые являются одинаковыми и которые находятся в одинаковой позиции внутри строк символов. В некоторых реализациях, система включает в группу ссылок приложения для шаблона префикса ссылки приложения только те ссылки приложения, которые имеют строку символов, которая начинается со строки символов, указанной шаблоном префикса ссылки приложения.

Для каждого шаблона префикса ссылки приложения, система идентифицирует набор из продолжительностей представления для каждой ссылки приложения в группе из ссылок приложения (606). Например, каждая ссылка приложения может иметь набор из продолжительностей представления. Система может агрегировать продолжительности представления для группы в набор из продолжительностей представления.

Для каждого шаблона префикса ссылки приложения, система применяет модель машинного обучения к набору из продолжительностей представления для группы из ссылок приложения (608). Система может применять модель машинного обучения к набору из продолжительностей представления точно так же, или сходным образом, как описано выше со ссылкой на Фиг. 5. Например, система может назначать каждую продолжительность представления в наборе из продолжительностей представления в группу продолжительностей, которая имеет диапазон из продолжительностей, в который попадает продолжительность представления. Система может определять счетчик количества продолжительностей представления у набора из продолжительностей представления, назначенных в каждую группу продолжительностей. Система может применять модель машинного обучения к счетчикам для каждой группы продолжительностей и модель машинного обучения может выводить, на основе счетчиков, классификацию в виде работающей или неработающей для ссылки приложения.

В некоторых реализациях, модель машинного обучения может быть применена к признаковому вектору для группы ссылок приложения. В данном примере, признаковый вектор может включать в себя векторный элемент для каждой группы продолжительностей. Значение каждого векторного элемента может быть равно (или пропорционально) счетчику количества продолжительностей представления для группы ссылок приложения, назначенной в группу продолжительностей, которая соответствует векторному элементу.

Система генерирует и выводит предупреждение, идентифицирующее заданную группу из ссылок приложения для заданного шаблона префикса ссылки приложения в качестве неработающих ссылок на основе модели машинного обучения, классифицирующей набор из ссылок приложения в качестве неработающих (610). Например, модель машинного обучения может выводить классификацию в виде работающей или неработающей для каждой группы ссылок приложения. Для тех с классификацией в виде неработающих, система может генерировать предупреждение, которое идентифицирует ссылки приложения в группах приложения в качестве неработающих ссылок. Система может передавать предупреждение клиентскому устройству системного администратора, который может дополнительно исследовать и исправлять или удалять любые неработающие ссылки.

Варианты осуществления изобретения и операции, описанные в данном техническом описании, могут быть реализованы в цифровой электронной схеме, или в компьютерном программном обеспечении, встроенном программном обеспечении, или аппаратном обеспечении, включая структуры, раскрываемые в данном техническом описании и их структурные эквиваленты, или в сочетаниях из одного или более из них. Варианты осуществления изобретения, описываемого в данном тоническом описании, могут быть реализованы в качестве одной или более компьютерных программ, т.е., одного или более модулей из компьютерных программных инструкций, закодированных на компьютерном запоминающем носителе информации для исполнения посредством, или для управления работой, устройства обработки данных. В качестве альтернативы или в дополнение, программные инструкции могут быть закодированы в искусственно-генерируемом распространяемом сигнале, например, генерируемом машиной электрическом, оптическом, или электромагнитном сигнале, который генерируется, чтобы кодировать информацию для передачи подходящему устройству-приемнику для исполнения посредством устройства обработки данных. Компьютерный запоминающий носитель информации может быть, или быть включен в, машиночитаемым запоминающим устройством, машиночитаемой запоминающей подложкой, устройством или массивом памяти с произвольным или последовательным доступом, или сочетанием одного или более из них. Более того, в то время как компьютерный запоминающий носитель информации не является распространяемым сигналом, компьютерный запоминающий носитель информации может быть источником или пунктом назначения компьютерных программных инструкций, закодированных в искусственно-генерируемом распространяемом сигнале. Компьютерный запоминающий носитель информации также может быть, или быть включен в, одним или более отдельными физическими компонентами или средствами (например, множеством CD, дисками, или другими запоминающими устройствами).

Операции, описываемые в данном техническом описании, могут быть реализованы в качестве операций, выполняемых устройством обработки данных над данными, хранящимися на одном или более машиночитаемых запоминающих устройствах или принимаемыми от других источников.

Понятие «устройство обработки данных» охватывает все виду аппаратур, устройств, и машин для обработки данных, включая, в качестве примера, программируемый процессор, компьютер, систему на кристалле, или несколько, или сочетания, вышеупомянутого. Устройство может включать в себя логическую схему особого назначения, например, FPGA (программируемая вентильная матрица) или ASIC (проблемно-ориентированная интегральная микросхема). Устройство также может включать в себя, в дополнение к аппаратному обеспечению, код, который создает среду исполнения для рассматриваемой компьютерной программы, например, код, который составляет встроенное программное обеспечение процессора, стек протоколов, систему администрирования базы данных, операционную систему, межплатформенную среду выполнения, виртуальную машину, или сочетание из одного или более из них. Устройство и среда исполнения могут реализовывать разнообразные разные инфраструктуры вычислительной модели, такие как web-услуги, инфраструктуры распределенных вычислений или решетки вычислительных ресурсов.

Компьютерная программа (также известная как программа, программное обеспечение, приложение программного обеспечения, сценарий, или код) может быть написана на любой форме языка программирования, включая компилируемые или интерпретируемые языки, декларативные или процедурные языки, и она может быть развернута в любой форме, включая в качестве автономной программы или в качестве модуля, компонента, подпрограммы, объекта, или другого блока, подходящего для использования в вычислительной среде. Компьютерная программа может, но не требуется, соответствовать файлу в файловой системе. Программа может быть сохранена в части файла, который хранит другие программы или данные (например, один или более сценарии, хранящиеся в документе языка разметки), в одном файле, предназначенном для рассматриваемой программы, или во множество координируемых файлах (например, файлах, которые хранят один или более модули, подпрограммы, или части кода). Компьютерная программа может быть развернута, чтобы быть исполненной на одном компьютере или множестве компьютерах, которые располагаются в одном месте или распределены по множеству мест и взаимно соединены посредством сети связи.

Процессы и логические потоки, описанные в данном техническом описании, могут быть выполнены одним или более программируемыми процессорами, исполняющими одну или более компьютерные программы, чтобы выполнять действия посредством обработки входных данных и генерирования выходных. Процессы и логические потоки могут быть также выполнены посредством, и устройство также может быть реализовано в качестве, логической схемы особого назначения, например, FPGA (программируемая вентильная матрица) или ASIC (проблемно-ориентированная интегральная микросхема).

Процессоры подходящие для исполнения компьютерной программы включают в себя, в качестве примера, микропроцессоры как общего, так и особого назначения, и любой один или более процессоры любого вида цифрового компьютера. В целом, процессор будет принимать инструкции и данные от постоянной памяти или памяти с произвольным доступом, или от обоих видов. Неотъемлемыми элементами компьютера являются процессор для выполнения действия в соответствии с инструкциями и одно или более устройства памяти для хранения инструкций и данных. В целом, компьютер также будет включать, или будет оперативно связан с, чтобы принимать данные от или переносить данные к, или в обоих случаях, одно или более устройства массовой памяти для хранения данных, например, магнитные, магнитооптические диски, или оптические диски. Тем не менее, не требуется чтобы компьютер имел такие устройства. Более того, компьютер может быть воплощен в другом устройстве, например, мобильном телефоне, персональном цифровом помощнике (PDA), мобильном аудио или видео проигрывателе, игровой консоли, приемнике Системы Глобального Позиционирования (GPS), или портативном запоминающем устройстве (например, флэш-накопителе универсальной последовательной шины (USB)), чтобы назвать лишь некоторые. Устройства, подходящие для хранения компьютерных программных инструкций и данных, включают в себя все формы энергонезависимой памяти, носителей информации и устройств памяти, включая, в качестве примера, устройства полупроводниковой памяти, например, EPROM, EEPROM, и устройства флэш-памяти; магнитные диски, например, внутренние жесткие диски или съемные диски; магнитооптические диски; и диски CD-ROM и DVD-ROM. Процессор и память могут быть дополнены, или включены в, логическую схему особого назначения.

Для обеспечения взаимодействия с пользователем, варианты осуществления предмета изобретения, описанные в данном техническом описании, могут быть реализованы на компьютере с дисплейным устройством, например, CRT (электронно-лучевая трубка) или LCD (жидкокристаллический дисплей) монитором, для отображения информации пользователю, и клавиатурой и координатно-указательным устройством, например, мышью или шаровым манипулятором, посредством которого пользователь может предоставлять ввод в компьютер. Другие виды устройств также могут быть использованы, чтобы обеспечивать взаимодействие с пользователем; например, обратная связь, которая обеспечивается пользователю, может быть любой формой сенсорной обратной связи, например, визуальной обратной связью, слышимой обратной связью, или тактильной обратной связью; и ввод от пользователя может быть принят в любой форме, включая акустический, речевой, или тактильный ввод. В дополнение, компьютер может взаимодействовать с пользователем посредством отправки документов к и приема документов от устройства, которое используется пользователем; например, посредством отправки web-страниц в web-браузер на клиентском устройстве пользователя в ответ на запросы, принимаемые от web-браузера.

Варианты осуществления изобретения, описываемые в данном техническом описании, могут быть реализованы в вычислительной системе, которая включает в себя внутренний компонент, например, в качестве сервера данных, или которая включает в себя компонент промежуточного слоя, например, сервер приложений, или которая включает в себя внешний компонент, например, клиентский компьютер с графическим интерфейсом пользователя или web-браузером, через который пользователь может взаимодействовать с реализацией изобретения, описанного в данном техническом описании, или любое сочетание из одного или более таких внутренних, среднего слоя, или внешних компонентов. Компоненты системы могут быть взаимно соединены посредством любой формы или средства связи для передачи цифровых данных, например, сети связи. Примеры сетей связи включают в себя локальную сеть («LAN») и глобальную сеть («WAN»), меж-сеть (например, Интернет), и одноранговые сети (например, самоорганизующиеся одноранговые сети).

Вычислительная система может включать в себя клиентов и серверы. Клиент и сервер, как правило, удалены друг от друга и, как правило, взаимодействуют через сеть связи. Отношение клиент и сервер возникает в силу компьютерных программ, работающих на соответствующих компьютерах и обладающих отношением клиент-сервер друг с другом. В некоторых вариантах осуществления, сервер передает данные (например, HTML страницу) клиентскому устройству (например, с целью отображения данных и приема ввода пользователя от пользователя, взаимодействующего с клиентским устройством). Данные, генерируемые на клиентском устройстве (например, результат взаимодействия пользователя), могут быть приняты от клиентского устройства на сервере.

Несмотря на то, что данное техническое описание содержит много особых подробностей реализации, они не должны толковаться в качестве ограничений на объем любых изобретений и того, что может быть заявлено, а наоборот в качестве описаний признаков, особых для конкретных вариантов осуществления конкретных изобретений. Некоторые признаки, которые раскрываются в данном техническом описании в контексте отдельных вариантов осуществления, также могут быть реализованы в сочетании в едином варианте осуществления. И наоборот, разнообразные признаки, которые описаны в контексте единого варианта осуществления, также могут быть реализованы во множестве вариантах осуществления отдельно или в подходящем суб-сочетании. Более того, несмотря на то, что признаки могут быть описаны выше, как действующие в некоторых сочетаниях и даже исходно заявлены как таковые, один или более признаки из заявленного сочетания могут в некоторых случаях быть исключены из сочетания, и заявленное сочетание может быть направлено на суб-сочетание или вариацию суб-сочетания.

Сходным образом, в то время как операции изображаются на чертежах в конкретной очередности, это не следует понимать как требующее того, чтобы такие операции выполнялись в конкретной показанной очередности или в последовательной очередности, или что выполняются все проиллюстрированные операции для достижения требуемых результатов. В некоторых обстоятельствах, преимущественной может быть многозадачность и параллельная обработка. Более того, разделение разнообразных компонентов системы в вариантах осуществления, описанных выше, не следует понимать как требующее такого разделения во всех вариантах осуществления, и следует понимать, что описанные программные компоненты и системы могут, в целом, быть интегрированы вместе в едином продукте программного обеспечения или упакованы во множество продуктов программного обеспечения.

Таким образом, были описаны конкретные варианты осуществления изобретения. Другие варианты осуществления находятся в рамках объема нижеследующей формулы изобретения. В некоторых случаях, действия, перечисленные в формуле изобретения, могут быть выполнены в другой очередности и по-прежнему достигать требуемых результатов. В дополнение, процессы, изображенные на сопроводительных фигурах, не обязательно требуют конкретной показанной очередности, или последовательной очередности для достижения требуемых результатов. В некоторых реализациях, преимущественной может быть многозадачность или параллельная обработка.

1. Система идентификации неработающих сетевых соединений, содержащая:

один или более внешних серверов, которые принимают данные, указывающие, для множества разных взаимодействий пользователя с одной или более ссылками приложения, которые ссылаются на заданное приложение, продолжительности представления, указывающие, насколько долго содержимое приложения, на которое ссылается ссылка приложения, представлялось после множества разных взаимодействий пользователя с этими одной или более ссылками приложения; и

один или более внутренних серверов, которые осуществляют связь с упомянутыми одним или более внешними серверами и выполняют операции, включающие в себя:

классифицирование каждой ссылки приложения в качестве неработающей или работающей на основе применения модели машинного обучения к продолжительностям представления для этой ссылки приложения, при этом модель машинного обучения генерируется с использованием помеченных обучающих данных, которые включают в себя для каждой обучающей ссылки приложения в наборе обучающих ссылок приложения:

набор продолжительностей представления для обучающей ссылки приложения и

метку, которая указывает, является ли обучающая ссылка приложения неработающей или работающей, на основе того, привело ли взаимодействие пользователя с обучающей ссылкой приложения к успешному представлению содержимого, на которое указывала обучающая ссылка приложения; и

генерирование и вывод предупреждения, идентифицирующего заданную ссылку приложения как неработающую ссылку, на основе того, что эта заданная ссылка приложения классифицирована в качестве неработающей посредством модели машинного обучения.

2. Система по п.1, в которой модель машинного обучения классифицирует ссылку приложения посредством:

назначения каждой продолжительности представления для ссылки приложения в группу продолжительностей из набора групп продолжительностей на основе этой продолжительности, при этом каждая группа продолжительностей предназначена для диапазона продолжительностей и включает в себя продолжительности представления для ссылки приложения, которые находятся внутри диапазона продолжительностей для этой группы продолжительностей; и

классифицирования ссылки приложения в качестве неработающей или работающей на основе шаблона, определяемого количеством продолжительностей представления, назначенных в каждую группу продолжительностей.

3. Система по п.2, при этом упомянутый шаблон, определяемый количеством продолжительностей представления, содержит распределение продолжительностей представления.

4. Система по п.1, в которой операции содержат:

идентификацию набора ссылок приложения, включающего в себя упомянутые одну или более ссылок приложения, которые ссылаются на заданное приложение;

группирование ссылок приложения в набор групп ссылок приложения на основе характеристик ссылок приложения в этом наборе ссылок приложения; и

классифицирование каждой группы ссылок приложения в качестве имеющей неработающие или работающие ссылки на основе применения модели машинного обучения к продолжительностям представления для ссылок приложения в этой группе ссылок приложения.

5. Система по п.1, в которой:

каждая ссылка приложения включает в себя строку символов для идентификации конкретного местоположения внутри конкретного приложения; и

операции включают в себя:

идентификацию одного или более шаблонов префикса ссылки приложения для набора ссылок приложения, который включает в себя упомянутые одну или более ссылок приложения, на основе, по меньшей мере, строки символов ссылок приложения, при этом каждый шаблон префикса ссылки приложения указывает строку символов, общую для двух или более ссылок приложения;

для каждого шаблона префикса ссылки приложения:

идентификацию группы ссылок приложения, которые включают в себя строку символов, указанную шаблоном префикса ссылки приложения,

идентификацию набора продолжительностей представления для каждой ссылки приложения в этой группе ссылок приложения,

применение модели машинного обучения к продолжительностям представления для данной группы ссылок приложения; и

генерирование и вывод предупреждения, идентифицирующего заданную группу ссылок приложения для заданного шаблона префикса ссылки приложения в качестве неработающих ссылок, на основе того, что модель машинного обучения классифицирует набор ссылок приложения в качестве неработающих.

6. Система по п.5, в которой операции включают в себя идентификацию упомянутых одного или более шаблонов префикса ссылки приложения на основе количества продолжительностей представления, доступных для каждого шаблона префикса ссылки приложения.

7. Система по п.1, при этом модель машинного обучения содержит модель линейной регрессии.

8. Способ идентификации неработающих сетевых соединений, выполняемый устройством обработки данных, содержащий этапы, на которых:

принимают данные, указывающие, для множества разных взаимодействий пользователя с одной или более ссылками приложения, которые ссылаются на заданное приложение, продолжительности представления, указывающие, насколько долго содержимое приложения, на которое ссылается ссылка приложения, представлялось после множества разных взаимодействий пользователя с этими одной или более ссылками приложения;

классифицируют каждую ссылку приложения в качестве неработающей или работающей на основе применения модели машинного обучения к продолжительностям представления для этой ссылки приложения, при этом модель машинного обучения генерируется с использованием помеченных обучающих данных, которые включают в себя для каждой обучающей ссылки приложения в наборе обучающих ссылок приложения:

набор продолжительностей представления для обучающей ссылки приложения и

метку, которая указывает, является ли обучающая ссылка приложения неработающей или работающей, на основе того, привело ли взаимодействие пользователя с обучающей ссылкой приложения к успешному представлению содержимого, на которое указывала обучающая ссылка приложения; и

генерируют и выводят предупреждение, идентифицирующее заданную ссылку приложения в качестве неработающей ссылки, на основе того, что эта заданная ссылка приложения классифицирована в качестве неработающей посредством модели машинного обучения.

9. Способ по п.8, в котором модель машинного обучения классифицирует ссылку приложения посредством:

назначения каждой продолжительности представления для ссылки приложения в группу продолжительностей из набора групп продолжительностей на основе этой продолжительности, при этом каждая группа продолжительностей предназначена для диапазона продолжительностей и включает в себя продолжительности представления для ссылки приложения, которые находятся внутри диапазона продолжительностей для этой группы продолжительностей; и

классифицирования ссылки приложения в качестве неработающей или работающей на основе шаблона, определяемого количеством продолжительностей представления, назначенных в каждую группу продолжительностей.

10. Способ по п.9, в котором упомянутый шаблон, определяемый количеством продолжительностей представления, содержит распределение продолжительностей представления.

11. Способ по п.8, дополнительно содержащий этапы, на которых:

идентифицируют набор ссылок приложения, включающий в себя упомянутые одну или более ссылок приложения, которые ссылаются на заданное приложение;

группируют ссылки приложения в набор групп ссылок приложения на основе характеристик ссылок приложения в этом наборе ссылок приложения; и

классифицируют каждую группу ссылок приложения в качестве имеющей неработающие или работающие ссылки на основе применения модели машинного обучения к продолжительностям представления для ссылок приложения в этой группе ссылок приложения.

12. Способ по п.8, в котором каждая ссылка приложения включает в себя строку символов для идентификации конкретного местоположения внутри конкретного приложения, при этом способ дополнительно содержит этапы, на которых:

идентифицируют один или более шаблонов префикса ссылки приложения для набора ссылок приложения, который включает в себя упомянутые одну или более ссылок приложения, на основе, по меньшей мере, строки символов ссылок приложения, при этом каждый шаблон префикса ссылки приложения указывает строку символов, общую для двух или более ссылок приложения;

для каждого шаблона префикса ссылки приложения:

идентифицируют группу ссылок приложения, которые включают в себя строку символов, указанную шаблоном префикса ссылки приложения,

идентифицируют набор продолжительностей представления для каждой ссылки приложения в этой группе ссылок приложения,

применяют модель машинного обучения к продолжительностям представления для данной группы ссылок приложения; и

генерируют и выводят предупреждение, идентифицирующее заданную группу ссылок приложения для заданного шаблона префикса ссылки приложения в качестве неработающих ссылок, на основе того, что модель машинного обучения классифицирует набор ссылок приложения в качестве неработающих.

13. Способ по п.12, дополнительно содержащий этап, на котором идентифицируют упомянутые один или более шаблонов префикса ссылки приложения на основе количества продолжительностей представления, доступных для каждого шаблона префикса ссылки приложения.

14. Способ по п.8, в котором модель машинного обучения содержит модель линейной регрессии.

15. Компьютерный носитель информации, на котором закодирована компьютерная программа, при этом программа содержит инструкции, которые при их исполнении устройством обработки данных предписывают устройству обработки данных выполнять операции, содержащие:

прием данных, указывающих, для множества разных взаимодействий пользователя с одной или более ссылками приложения, которые ссылаются на заданное приложение, продолжительности представления, указывающие, насколько долго содержимое приложения, на которое ссылается ссылка приложения, представлялось после множества разных взаимодействий пользователя с этими одной или более ссылками приложения;

классифицирование каждой ссылки приложения в качестве неработающей или работающей на основе применения модели машинного обучения к продолжительностям представления для этой ссылки приложения, при этом модель машинного обучения генерируется с использованием помеченных обучающих данных, которые включают в себя для каждой обучающей ссылки приложения в наборе обучающих ссылок приложения:

набор продолжительностей представления для обучающей ссылки приложения и

метку, которая указывает, является ли обучающая ссылка приложения неработающей или работающей, на основе того, привело ли взаимодействие пользователя с обучающей ссылкой приложения к успешному представлению содержимого, на которое указывала обучающая ссылка приложения; и

генерирование и вывод предупреждения, идентифицирующего заданную ссылку приложения в качестве неработающей ссылки, на основе того, что эта заданная ссылка приложения классифицирована в качестве неработающей посредством модели машинного обучения.

16. Компьютерный носитель информации по п.15, при этом модель машинного обучения классифицирует ссылку приложения посредством:

назначения каждой продолжительности представления для ссылки приложения в группу продолжительностей из набора групп продолжительностей на основе этой продолжительности, при этом каждая группа продолжительностей предназначена для диапазона продолжительностей и включает в себя продолжительности представления для ссылки приложения, которые находятся внутри диапазона продолжительностей для этой группы продолжительностей; и

классифицирования ссылки приложения в качестве неработающей или работающей на основе шаблона, определяемого количеством продолжительностей представления, назначенных в каждую группу продолжительностей.

17. Компьютерный носитель информации по п.16, при этом упомянутый шаблон, определяемый количеством продолжительностей представления, содержит распределение продолжительностей представления.

18. Компьютерный носитель информации по п.15, в котором операции содержат:

идентификацию набора ссылок приложения, включающего в себя упомянутые одну или более ссылок приложения, которые ссылаются на заданное приложение;

группирование ссылок приложения в набор групп ссылок приложения на основе характеристик ссылок приложения в этом наборе ссылок приложения; и

классифицирование каждой группы ссылок приложения в качестве имеющей неработающие или работающие ссылки на основе применения модели машинного обучения к продолжительностям представления для ссылок приложения в этой группе ссылок приложения.

19. Компьютерный носитель информации по п.15, в котором:

каждая ссылка приложения включает в себя строку символов для идентификации конкретного местоположения внутри конкретного приложения; и

операции включают в себя:

идентификацию одного или более шаблонов префикса ссылки приложения для набора ссылок приложения, который включает в себя упомянутые одну или более ссылок приложения, на основе, по меньшей мере, строки символов ссылок приложения, при этом каждый шаблон префикса ссылки приложения указывает строку символов, общую для двух или более ссылок приложения;

для каждого шаблона префикса ссылки приложения:

идентификацию группы ссылок приложения, которые включают в себя строку символов, указанную шаблоном префикса ссылки приложения,

идентификацию набора продолжительностей представления для каждой ссылки приложения в этой группе ссылок приложения,

применение модели машинного обучения к продолжительностям представления для данной группы ссылок приложения; и

генерирование и вывод предупреждения, идентифицирующего заданную группу ссылок приложения для заданного шаблона префикса ссылки приложения в качестве неработающих ссылок, на основе того, что модель машинного обучения классифицирует набор ссылок приложения в качестве неработающих.

20. Компьютерный носитель информации по п.19, в котором операции содержат идентификацию упомянутых одного или более шаблонов префикса ссылки приложения на основе количества продолжительностей представления, доступных для каждого шаблона префикса ссылки приложения.