Способ выбора и демонстрации контекстной информации, связанной с видеопотоком
Изобретение относится к вычислительной технике. Технический результат заключается в обеспечении эффективной демонстрации большего количества контекстной информации рекламного характера с сохранением внимания пользователя. Способ выбора и демонстрации контекстной информации, связанной с телевизионным видеопотоком, включает прием данных видеопотока, содержащего видео, предназначенное для трансляции на экран пользователя, анализ данных, осуществление поискового запроса контекстной информации, получение поискового результата в виде изображений, текста, гиперссылок, рекламных материалов, выбор поисковых результатов в соответствии с данными профиля пользователя, демонстрацию выбранной информации на экран пользователя, причем анализ данных видеопотока начинают с видеоаналитического извлечения из видеопотока графических объектов, которое осуществляют с применением нейросетей, при этом выделяют признаки каждого объекта, осуществляют контроль времени нахождения объекта на экране, осуществляют поисковый запрос контекстной информации для объекта при его нахождении на экране более 5 секунд, полученные поисковые результаты анализируют и разделяют по типу данных на две группы, поисковые результаты для каждого объекта демонстрируют чередованием с заданным шагом из первой и второй групп. 1 ил.
Изобретение относится к компьютерной и телевизионной технике, а именно к способам воспроизведения видеоинформации, и может быть использовано для интерактивной демонстрации контекстной информации при воспроизведении видеопотока.
Известны способы выбора и демонстрации контекстной информации, связанной с телевизионным видеопотоком, которые обеспечивают подбор и демонстрацию пользователю рекламной информации. Одна из задач таких способов - обеспечить техническую возможность привлечения и сохранения внимания пользователя при просмотре контекстной информации.
Известен аналог - способ интерактивной демонстрации контекстной информации при воспроизведении видеопотока - RU2699999, 23.10.2019, включающий управляющее воздействие пользователя на любую точку кадра видеопотока и интерактивное взаимодействие пользователя с контекстной информацией, заключающийся в том, что создают файл, содержащий данные о тайминге - времени начала и окончания возможной демонстрации контекстной информации, координатах области кадра, к которому относится контекстная информация, необходимости приостановки при наличии технической возможности воспроизведения видеопотока на время демонстрации контекстной информации, а также данные о местоположении контекстной информации, при этом используют средство воспроизведения видеопотока, оснащенное функцией считывания информации из упомянутого файла и функцией соотнесения контекстной информации с любой областью кадра, осуществляемого на основании данных о координатах области кадра и тайминге кадров, причем по управляющему воздействию пользователя на выбранную точку кадра с помощью средства воспроизведения видеопотока осуществляют демонстрацию контекстной информации, содержащейся непосредственно в видеопотоке либо в отдельном файле, который доставляют пользователю одновременно с видеофайлом или в любое другое время или передают по интерактивным каналам связи.
Недостатком аналога является то, что его функциональность ограничивается выводом информации на экран, но не включает процесс выбора информации, а это является ключевым моментом при реализации цели, заключающейся в привлечении и сохранении внимания пользователя при просмотре контекстной информации. Для привлечения внимания пользователя и создания положительного опыта важно максимальное соответствие информации транслируемому видеопотоку.
Известен более близкий к предлагаемому изобретению аналог - способ выбора и демонстрации контекстной информации, связанной с телевизионным видеопотоком - US20080189736, 7.08.2008, принятый в качестве прототипа, включающий прием данных из сервера в виде телевизионного видеопотока, анализ данных, выделение ключевых слов по каждому распознанному элементу, присвоение каждому ключевому слову оценки, расставление приоритетов ключевых слов по оценкам, поисковой запрос в интернет и базу данных с рекламными материалами по топовым ключевым словам, получение поискового результата в виде рекламных материалов, изображений, текста, гиперссылок, фильтрация поисковых результатов по данным профиля пользователя, вывод отобранной информации на экран пользователя.
Первым недостатком прототипа является низкая эффективность анализа данных из видеопотока, так как согласно способу по каждому распознанному элементу необходимо выделение ключевых слов.
Невозможно с высокой степенью точности сделать словесное описание сложного объекта, например, лица, пригодное для поиска с необходимым уровнем качества. Поэтому качество выбора контекстной информации в прототипе является невысоким. Вторым недостатком прототипа является малая ориентированность предоставляемой контекстной информации на интересы пользователя. Так как в принимаемом видеопотоке содержится большое количество второстепенной информации, то вся демонстрируемая пользователю контекстная является разнообразной и малый её процент ориентирован на интересы пользователя. Таким образом, в способе отсутствует техническая возможность выбора наиболее релевантной для интересов пользователя информации. Третьим недостатком прототипа является отсутствие технической функции дозирования подачи рекламной информации.
Качество выбора и демонстрации контекстной информации напрямую связано с созданием положительного опыта у пользователя и, следовательно, с бизнес показателями компании, предоставляющей услуги выбора и демонстрации пользователям контекстной информации, в том числе рекламной. Перечисленные три недостатка прототипа характеризуют низкое качество способа выбора и демонстрации контекстной информации. Технический результат изобретения направлен на повышение качества выбора и демонстрации контекстной информации в аспекте устранения перечисленных недостатков прототипа, а именно, на исключение необходимости выделения ключевых слов для проведения анализа видеопотока, на обеспечение выбора наиболее релевантной для интересов пользователя информации, на обеспечение функции дозирования подачи рекламной информации. Как результат, обеспечить эффективную демонстрацию большего количества контекстной информации рекламного характера с сохранением внимания пользователя.
Технический результат достигается в способе выбора и демонстрации контекстной информации, связанной с телевизионным видеопотоком, включающем прием данных в виде телевизионного видеопотока, содержащего видео, предназначенное для трансляции на экран, анализ данных, осуществление поискового запроса контекстной информации, получение поискового результата в виде изображений, текста, гиперссылок, рекламных материалов, выбор поисковых результатов в соответствии с данными профиля пользователя, демонстрацию выбранной информации на экран пользователя, анализ данных видеопотока начинают с видеоаналитического извлечения из видеопотока графических объектов, которое осуществляют с применением нейросетей, при этом выделяют признаки объекта, осуществляют контроль времени нахождения объекта на экране, осуществляют поисковой запрос контекстной информации для объекта при его нахождении на экране более 5 секунд, полученные поисковые результаты анализируют и разделяют по типу данных на две группы, первая - информационные и развлекательные, вторая - рекламные, выявляют степень совпадения признаков объекта с интересами пользователя, известными из данных о его профиле, для объектов, имеющих большую степень совпадения, выбирают для демонстрации больше поисковых результатов из второй группы, полученные поисковые результаты анализируют и ранжируют по степени соответствия наиболее популярным поисковым запросам, для демонстрации выбирают результаты более соответствующие популярным поисковым запросам, поисковые результаты для каждого объекта демонстрируют чередованием с заданным шагом из первой и второй групп, шаг определяют по степени совпадения признаков объекта с интересами пользователя, осуществляют наполнение базы данных профиля пользователя информацией о его предпочтениях при каждом выборе контекстной информации.
На фиг. 1 представлена блок-схема, иллюстрирующая этапы осуществления способа выбора и демонстрации контекстной информации, связанной с видеопотоком.
Рассмотрим пример конкретной реализации способа выбора и демонстрации контекстной информации. Изобретение не ограничивается приведенной реализацией. Прием данных телевизионного видеопотока осуществляют через технологию кабельного телевидения Smart TV от провайдера данного сервиса. Видеопоток содержит видеоданные, а именно художественный фильм, предназначенный для трансляции на экран пользователя. На этапе 1, как указано на фиг.1, принимают видеопоток в виде видео-файла. Анализ видеопотока в соответствии с данным способом осуществляют с опережением трансляции его на экран пользователя, так как требуется время для подготовки контекстной информации. Средства обработки информации содержат приложение и базу данных, размещенное на удаленном сервере. Может применяться несколько удаленных серверов для увеличения производительности. Видеоаналитическое извлечение из видеопотока графических объектов осуществляют следующим образом. Осуществляют разбивку видеопотока на кадры. На этапе 2 отбирают кадры, подходящие для анализа, то есть содержащие графическую информацию. На этапе 3 осуществляют детекцию объектов в кадре. Объектами являются, например, лица, одежда, мебель. Для детекции объектов в кадре и выделения признаков объектов применяют нейронную сеть с архитектурой Mask R-CNN. На этапе 4 осуществляют идентификацию и сравнение одних и тех же объектов в последующих друг за другом кадрах для определения конкретного объекта в нескольких кадрах. На основе количества кадров, в которых идентифицирован один и тот же объект, рассчитывают время нахождения объекта в кадре. На этапе 5 анализируют выделенные признаки и осуществляют разделение объектов на классы для удобства дальнейшей обработки информации. На этапе 6 для каждого обнаруженного объекта вычисляют векторное представление с помощью нейросети обученной на триплетах. Вычисляют вектор, используя признаки объектов в кадре и текстовых описаний.
Такой графический анализ видеофильма намного превосходит словесный анализ, осуществляемый в прототипе, повышается качество анализа, что способствует достижению технического результата.
При нахождении объекта на экране менее 5 секунд для него не осуществляют поисковой запрос. Этот временной промежуток был определен экспериментально и подтвержден на исследуемых пользователях и на различном контенте - художественных и документальных фильмах. Находящиеся на экране менее 5 секунд объекты не привлекают внимание и не являются важными в контексте просматриваемого фильма. И технически пользователь не успевает инициировать вывод контекстной информации в виде поисковых результатов по данному объекту. Введением данного условия совместно с предыдущим признаком обеспечивается техническая возможность выбора наиболее релевантной для интересов пользователя информации, что способствует достижению технического результата.
Параллельно обработке графической информации, на этапе 8, как показано на фиг.1, принимают текстовое описание, полученное от видео-хостинга или от провайдера сервиса. На этапе 9 выделяют признаки текстовых описаний.
Параллельно с предыдущими двумя процессами, как показано на фиг.1, на этапе 10 Принимают данные пользователя, основанные на истории просмотров, переходов и другой доступной информации, собранной ранее и полученной от видео-хостинга и от провайдера сервиса.
На этапе 11 выделяют признаки пользователей с применением методов коллаборативной фильтрации.
На этапе 7 осуществляют поисковой запрос контекстной информации на основе полученной комбинации векторов и получают поисковой результат в виде изображений, текста, гиперссылок, рекламных материалов. Полученные поисковые результаты анализируют и разделяют по типу данных на две группы, первая - информационные и развлекательные, вторая - рекламные. Далее выявляют степень совпадения признаков объекта с интересами пользователя, известными из данных о его профиле. Профиль пополняют для возможности выбора наиболее релевантной для интересов пользователя информации, что способствует достижению технического результата. Для объектов, имеющих большую степень совпадения, выбирают для демонстрации больше поисковых результатов из второй группы. Так как информация соответствует интересам пользователя, то высока вероятность просмотра пользователем данной информации, несмотря на её рекламный характер.
Полученные поисковые результаты анализируют и ранжируют по степени соответствия наиболее популярным поисковым запросам и профилю пользователя. Для демонстрации выбирают наиболее соответствующие популярным поисковым запросам результаты. При этом анализируют поисковые запросы пользователей сети Интернет с помощью коллаборативной фильтрации и выявляют тренды - наиболее популярную информацию, которая пользуется повышенным интересом у той аудитории, в которую входит конкретный пользователь. На этапе 12 осуществляют демонстрацию результатов поиска выдачей в специальном элементе графического интерфейса экрана - виджите. Поисковые результаты для каждого объекта демонстрируют чередованием из первой и второй групп с определенным шагом. Этим обеспечивается дозирование подачи рекламной информации. При получении и идентификации пользователем только рекламной информации велика вероятность того, что он не будет более просматривать контекстную информацию и в дальнейшем не обратиться к данному сервису. Поэтому обеспечивается встраивание рекламной информации в промежутки между информационной и развлекательной, что способствует достижению технического результата. Шаг может быть, например, равным двум. Это означает, что сначала дают два рекламных источника информации из второй группы, затем один информационно- развлекательный из первой. Шаг может быть сложным, например, 2-1-2-1-1-2-1-2-1-1. Ранжирование информации по степени совпадения интересам пользователя осуществляют опытным путем на основе анализа реакции большого количества пользователей на выбираемую стратегию демонстрации контекстной информации.
Демонстрация контекстной информации и рекламных объявлений может обеспечиваться несколькими способами. В одном из вариантов объект, для которого предоставляется контекстная информация, на экране подсвечивают. Пользователь манипулирует координатно-позиционирующим устройством в составе пульта управления телевизора, наводит курсор на участок кадра с данным объектом. В ответ на это выводится окно со списком поисковых результатов, в котором чередуются информационные с развлекательными и рекламные типы данных в соответствии с рассматриваемым способом. Воспроизведение видео при этом приостанавливается. Например, пользователь указывает на героя фильма. Первым поисковым результатом в списке выводят рекламу рубашки, в котором находится герой фильма, вторым в списке выводят информацию об актере, следующим в списке выводят рекламу модели автомобиля, на котором перемещается герой фильма, после этого описание истории автомобильной марки и так далее.
В другом возможном варианте демонстрации информацию выводят по всем найденным в кадре объектам при приостановке воспроизведения видео. Например, пользователя заинтересовало платье на актрисе. При постановке видео на паузу, выводят похожие платья с активными гиперссылками из внутренней базы товаров рекламодателя. Пользователь манипулирует координатно-позиционирующим устройством и переходит по гиперссылке на страницу товара.
В другом возможном варианте вывода информации видеопоток не приостанавливают, вся контекстная информация или рекламные объявления выводят на экран в виде всплывающих объявлений по мере возникновения подходящих для распознавания объектов, при этом не перекрывая всю область экрана. Пользователь при выводе интересующей его информации с помощью координатно-позиционирующего устройства наводит курсором на объявление для развернутого ознакомления.
В другом возможном варианте видео принудительно останавливают на время показа рекламного объявления, которое соответствуют контексту видеопотока. При этом выводят потенциально максимально интересные пользователю объявления. При этом вывод информации может быть ограничен по периодичности, например, через каждые 15 минут воспроизведения.
Заявленная совокупность существенных признаков способа находится в прямой следственной связи с достигаемым результатом. Сравнение заявленного технического решения с прототипом позволило установить соответствие его критерию «новизна», т.к. оно не известно из уровня техники. Предложенный способ является промышленно применимым и соответствует критерию «изобретательский уровень», так как он явным образом не следует из уровня техники. На основании вышесказанного предложенное техническое решение соответствует установленным условиям патентоспособности изобретения.
Способ выбора и демонстрации контекстной информации, связанной с телевизионным видеопотоком, включающий прием данных видеопотока, содержащего видео, предназначенное для трансляции на экран пользователя, анализ данных, осуществление поискового запроса контекстной информации, получение поискового результата в виде изображений, текста, гиперссылок, рекламных материалов, выбор поисковых результатов в соответствии с данными профиля пользователя, демонстрацию выбранной информации на экран пользователя, отличающийся тем, что анализ данных видеопотока начинают с видеоаналитического извлечения из видеопотока графических объектов, которое осуществляют с применением нейросетей, при этом выделяют признаки каждого объекта, осуществляют контроль времени нахождения объекта на экране, осуществляют поисковый запрос контекстной информации для объекта при его нахождении на экране более 5 секунд, полученные поисковые результаты анализируют и разделяют по типу данных на две группы, первая - информационные и развлекательные, вторая - рекламные, выявляют степень совпадения признаков объекта с интересами пользователя, известными из данных о его профиле, для объектов, имеющих большую степень совпадения, выбирают для демонстрации больше поисковых результатов из второй группы, полученные поисковые результаты анализируют и ранжируют по степени соответствия наиболее популярным поисковым запросам, для демонстрации выбирают результаты, более соответствующие популярным поисковым запросам, поисковые результаты для каждого объекта демонстрируют чередованием с заданным шагом из первой и второй групп, шаг определяют по степени совпадения признаков объекта с интересами пользователя, осуществляют наполнение базы данных профиля пользователя информацией о его предпочтениях при каждом выборе контекстной информации.
