Система определения интереса, способ определения интереса и носитель информации

Изобретение относится к вычислительной технике. Технический результат – повышение точности определения наличия у пользователя интереса к словам, отсутствующим в диалоговой информации пользователя. Система определения интереса к слову, отсутствующему в текущем диалоге пользователя, содержит: блок сбора данных для получения первой группы данных, указывающей на предпочтения пользователя для каждого слова, когда-либо присутствовавшего в диалоговой информации пользователя; первый обучающийся блок, приспособленный для обучения с помощью первого входного значения и первого выходного значения, при этом первое входное значение представляет собой группу данных, связывающих первую группу данных со второй группой данных, указывающих на признак заранее заданного слова, а первое выходное значение представляет собой информацию, указывающую на наличие или отсутствие интереса со стороны пользователя; и блок определения, приспособленный для того, чтобы при вводе в первый обучающийся блок группы данных, связывающих третью группу данных, указывающую на признак отсутствующего в текущем диалоге определяемого слова, с первой группой данных определять наличие интереса у пользователя к отсутствующему в текущем диалоге определяемому слову на основе выходного значения, выданного первым обучающимся блоком. 3 н. и 6 з.п. ф-лы, 14 ил.

 

Предпосылки создания изобретения

1. Область техники, к которой относится изобретение

[0001] Изобретение относится к системе определения интереса, способу определения интереса и носителю информации, которые предназначены для определения интереса со стороны пользователя.

2. Предшествующий уровень техники

[0002] Известна система, определяющая наличие интереса со стороны пользователя с помощью векторов, каждый из которых выражает признак слова, присутствующего в диалоге пользователя (см., например, не прошедшую экспертизу патентную заявку Японии №2017-027168 (JP 2017-027168 А)).

Сущность изобретения

[0003] Известная система определяет наличие интереса со стороны пользователя на основе слов, присутствующих в диалоге пользователя. По этой причине затруднительно определить, имеется ли у пользователя интерес в отношении слов, отсутствующих в диалоге пользователя.

[0004] Изобретение предлагает систему определения интереса, способ определения интереса и носитель информации, позволяющие определить наличие у пользователя интереса к словам, отсутствующим в диалоге пользователя.

[0005] Первый объект настоящего изобретения относится к системе определения интереса. Система определения интереса включает в себя блок сбора данных, первый обучающийся блок и блок определения. Блок сбора данных приспособлен для получения первой группы данных, указывающих на признаки каждого слова, содержащегося в диалоговой информации пользователя.

Первый обучающийся блок приспособлен для обучения с помощью первого входного значения и первого выходного значения. Первое входное значение представляет собой группу данных, связывающих первую группу данных, полученную блоком сбора данных, со второй группой данных, указывающих на признак заранее заданного слова. Первое выходное значение представляет собой информацию, указывающую на наличие или отсутствие интереса со стороны пользователя. Блок определения, приспособленный для того, чтобы при вводе в первый обучающийся блок группы данных, связывающих третью группу данных, указывающих на признак определяемого слова, с первой группой данных, полученных блоком сбора данных, определять наличие интереса у пользователя к определяемому слову на основе выходного значения, выданного первым обучающимся блоком. В этом объекте первая группа данных, полученная блоком сбора данных, может представлять собой первую векторную информацию, представленную в виде количественно выраженной и векторизированной информации о признаках каждого слова, содержащегося в диалоговой информации пользователя. Первый обучающийся блок может быть приспособлен для обучения с использованием первого входного значения и первого выходного значения. Первое входное значение может представлять собой векторную информацию, связывающую первую векторную информацию, полученную блоком сбора данных, со второй векторной информацией в форме второй группы данных, указывающих на признак заранее заданного слова. Первое выходное значение может представлять собой информацию, указывающую на наличие или отсутствие интереса со стороны пользователя. Блок определения может быть приспособлен для того, чтобы при вводе в первый обучающийся блок векторной информации, связывающей третью векторную информацию, указывающую на признак определяемого слова, с первой векторной информацией, полученной блоком сбора данных, определять наличие интереса со стороны пользователя к определяемому слову на основе выходного значения, выданного первым обучающимся блоком.

В этом объекте первая группа данных, полученная блоком сбора данных, может представлять собой модель предпочтений, выражающую признаки каждого слова, содержащегося в диалоговой информации пользователя, в виде модели, указывающей на предпочтения пользователя. В этом объекте блок сбора данных может включать в себя блок преобразования словесных векторов и блок генерации векторов предложений. Блок преобразования словесных векторов может быть приспособлен для преобразования слова, являющегося объектом оценки интереса, предшествующего контекстного слова и последующего контекстного слова в диалоговой информации пользователя в словесные вектора. Слово, являющееся объектом оценки интереса, может представлять собой слово, к которому проявляет интерес пользователь. Предшествующее контекстное слово может представлять собой слово или заранее заданное количество слов перед словом, являющимся объектом оценки интереса. Последующее контекстное слово может представлять собой слово или заранее заданное количество слов после слова, являющегося объектом оценки интереса. Блок генерации векторов предложений может быть приспособлен для преобразования вектора предшествующего контекстного слова, полученного с помощью блока преобразования словесных векторов, в вектор предшествующего контекста с помощью второго обучающегося блока, и преобразования вектора последующего контекстного слова, полученного с помощью блока преобразования словесных векторов, в вектор последующего контекста с помощью второго обучающегося блока. Каждый из вектора предшествующего контекста и вектора последующего контекста может указывать на признак предложения. Блок генерации векторов предложений может быть приспособлен для генерирования связанного вектора, получаемого путем привязки преобразованного вектора предшествующего контекста и преобразованного вектора последующего контекста к вектору слова, являющегося объектом оценки интереса. В этом объекте блок генерации векторов предложений может быть приспособлен для генерирования связанного вектора для каждого фрагмента диалоговой информации, к которому пользователь проявляет интерес; и блок сбора данных может дополнительно включать в себя блок генерации моделей предпочтений, приспособленный для расчета среднего значения связанных векторов, сгенерированных блоком генерации векторов предложений, в виде векторной информации о пользователе в модели предпочтений. В этом объекте система определения интереса может дополнительно содержать третий обучающийся блок, приспособленный для оптимизации с использованием второго входного значения и второго выходного значения. Второе входное значение может представлять собой связанный вектор, сгенерированный блоком генерации векторов предложений. Второе выходное значение может представлять собой информацию, указывающую на наличие или отсутствие интереса со стороны пользователя. В этом объекте первый обучающийся блок, второй обучающийся блок и третий обучающийся блок могут оптимизироваться одновременно. В этом объекте каждый из первого обучающегося блока, второго обучающегося блока и третьего обучающегося блока может представлять собой нейронную сеть. Второй объект настоящего изобретения относится к способу определения интереса. Способ определения интереса включает в себя: получение первой группы данных, указывающих на признаки каждого слова, содержащегося в диалоговой информации пользователя; обеспечение обучения первого обучающегося блока с использованием первого входного значения и первого выходного значения, где первое входное значение представляет собой группу данных, связывающих первую группу данных со второй группой данных, указывающих на признак заранее заданного слова, а первое выходное значение представляет собой информацию, указывающую на наличие или отсутствие интереса со стороны пользователя; и при вводе в первый обучающийся блок группы данных, связывающих третью группу данных, указывающих на признак определяемого слова, с первой группой данных, определение наличия интереса у пользователя к определяемому слову на основе выходного значения, выданного первым обучающимся блоком. Третий объект изобретения относится к машиночитаемому носителю информации, на котором хранится компьютерная программа, обеспечивающая выполнение компьютером инструкций по: получению первой группы данных, указывающих на признаки каждого слова, содержащегося в диалоговой информации пользователя; обеспечению обучения первого обучающегося блока с использованием первого входного значения и первого выходного значения, где первое входное значение представляет собой группу данных, связывающих первую группу данных со второй группой данных, указывающих на признак заранее заданного слова, а первое выходное значение представляет собой информацию, указывающую на наличие или отсутствие интереса со стороны пользователя; и при вводе в первый блок обучения группы данных, связывающих третью группу данных, указывающих на признак определяемого слова, с первой группой данных, определению наличия интереса у пользователя к определяемому слову на основе выходного значения, выданного первым обучающимся блоком.

[0006] В соответствии с объектами изобретения, имеется возможность создать систему определения интереса, способ определения интереса и носитель информации, позволяющие с высокой точностью определять наличие у пользователя интереса к словам, отсутствующим в диалоговой информации пользователя.

Краткое описание чертежей

[0007] Признаки, преимущества, а также техническая и промышленная значимость примеров осуществления изобретения описаны ниже со ссылками на прилагаемые чертежи, на которых аналогичные элементы обозначены одними и теми же цифрами, где:

На ФИГ. 1 приведена блок-схема, демонстрирующая схематическую конфигурацию системы определения интереса в соответствии с одним из вариантов осуществления изобретения;

На ФИГ. 2 приведен пример генерирования вектора предложения на основе журнала диалога;

На ФИГ. 3 приведена структура первой и второй нейронных сетей;

На ФИГ. 4 приведен способ оптимизации первой и второй нейронных сетей;

На ФИГ. 5 приведен пример процесса генерирования модели предпочтений;

На ФИГ. 6 приведена структура третьей нейронной сети;

На ФИГ. 7 приведен способ оптимизации третьей нейронной сети;

На ФИГ. 8 приведен способ определения наличия у пользователя интереса к определяемому слову;

На ФИГ. 9 приведена принципиальная блок-схема, демонстрирующая последовательность реализации способа определения интереса в соответствии с одним из вариантов осуществления изобретения;

На ФИГ. 10 приведена таблица, содержащая пример статистических характеристик использованных данных;

На ФИГ. 11 приведена таблица, содержащая результаты теста;

На ФИГ. 12 приведена выдержка из первой половины диалога, использовавшегося в тесте;

На ФИГ. 13 приведена таблица, содержащая частичные результаты оценки потенциального интереса с помощью единой модели; и

На ФИГ. 14 приведена таблица, содержащая частичные результаты оценки с помощью SVM.

Подробное описание вариантов осуществления

[0008] Ниже будут описаны варианты осуществления изобретения со ссылками на прилагаемые чертежи. Система определения интереса в соответствии с одним из вариантов осуществления изобретения позволяет с высокой точностью определять наличие у пользователя интереса в отношении потенциального слова, которым пользователь с высокой вероятностью может выразить интерес, даже если это слово еще не появлялось в журнале диалога (диалоговой информации) пользователя (здесь и далее - потенциально интересующее слово).

[0009] Например, до настоящего времени наличие интереса со стороны пользователя определялось на основе слов, присутствующих в диалоге пользователя. По этой причине было затруднительно определить, имеется ли у пользователя интерес в отношении слова, отсутствующего в диалоге пользователя.

[0010] В противоположность этому, система определения интереса в соответствии с настоящим вариантом осуществления изобретения формирует модель предпочтений, представляющую собой векторную информацию, указывающую на признаки каждого слова, содержащегося в диалоговой информации пользователя, и, таким образом, указывающую на предпочтения пользователя. Система определения интереса обеспечивает обучение обучающегося устройства (третьей нейронной сети 9 (описанной ниже)) с использованием входного значения и выходного значения, при этом входное значение представляет собой векторную информацию, связывающую векторную информацию сформированной модели предпочтений с векторной информацией, указывающей на заранее установленный признак заданного слова, а выходное значение представляет собой информацию, указывающую на наличие или отсутствие интереса со стороны пользователя. При вводе вектора, привязывающего векторную информацию, указывающую на признак определяемого слова, к векторной информации модели предпочтений, в обучающееся устройство, система определения интереса определяет наличие у пользователя интереса к определяемому слову на основе выходного значения, выдаваемого обучающимся устройством. Под обучением понимается оптимизация нейронной сети.

[0011] В системе определения интереса в соответствии с настоящим вариантом осуществления изобретения, как описано выше, обучение обучающегося устройства (обучающегося средства) обеспечивается с использованием векторной информации, привязывающей модель предпочтений, комплексно описывающую предпочтения пользователя, к одному выбранному заданному слову, которое еще не появлялось в диалоговой информации. Следовательно, в обучающееся устройство вносятся данные не только о предпочтениях, основанных на присутствующих в диалоговой информации словах, к которым пользователь проявляет интерес, но также и о предпочтениях, основанных на заранее заданных словах, включая слова, отсутствующие в диалоговой информации, к которым пользователь проявляет интерес. Таким образом, при определении с помощью обучающегося устройства наличия у пользователя интереса к определяемому слову, имеется возможность с высокой точностью определять, имеется ли у пользователя интерес не только к словам, присутствующим в диалоге пользователя, но и к словам, отсутствующим в диалоге.

[0012] В настоящем варианте осуществления изобретения, как описано выше, заранее заданное слово и определяемое слово могут совпадать или отличаться. Система определения интереса 1 в соответствии с настоящим вариантом осуществления изобретения позволяет точно определять наличие интереса у пользователя даже в случае, когда слова отличаются.

[0013] При определении слова (например, существительного), отсутствующего в журнале диалога, можно предположить, что интерес пользователя к предмету журнала диалога играет ключевую роль в определении. В настоящем варианте осуществления изобретения первоначально определяется, имеется ли у пользователя интерес к каждому слову в журнале диалога, как описано ниже. Предполагается, что наличие у пользователя интереса к слову существенно зависит от контекста, предшествующего слову и следующего за ним. Следовательно, в настоящем варианте осуществления изобретения определяется наличие у пользователя интереса к слову с учетом контекста, предшествующего слову и следующего за ним.

[0014] На ФИГ. 1 приведена блок-схема, демонстрирующая схематическую конфигурацию системы определения интереса в соответствии с настоящим вариантом осуществления изобретения. Система определения интереса 1 в соответствии с настоящим вариантом осуществления изобретения включает в себя блок 2 морфологического анализа, блок 3 преобразования словесных векторов, блок 4 генерации векторов предложений, блок 5 генерации моделей предпочтений, блок 6 определения интереса и первую - третью нейронные сети 7, 8, 9. Блок 2 морфологического анализа выполняет морфологический анализ. Блок 3 преобразования словесных векторов преобразует слово в вектор. Блок 4 генерации векторов предложений генерирует вектор предложения. Блок 5 генерации моделей предпочтений генерирует модель предпочтений. Блок 6 определения интереса определяет наличие интереса со стороны пользователя. Первая - третья нейронные сети 7, 8, 9 выполняют функцию обучающегося устройства.

[0015] Система определения интереса 1 имеет аппаратную конфигурацию, в основе которой лежит микрокомпьютер. Микрокомпьютер включает в себя, например, центральный процессор (CPU - central processing unit), память, интерфейсный блок (I/F - interface) и т.п. Центральный процессор выполняет арифметические операции и т.п. Память включает в себя постоянное запоминающее устройство (ROM - read only memory) и оперативную память (RAM - random access memory). Рабочие программы и т.п., исполняемые центральным процессором, хранятся в постоянном запоминающем устройстве или оперативной памяти. Интерфейсный блок вводит или выводит сигналы от внешних устройств или к ним. Центральный процессор, память и интерфейсный блок соединены друг с другом шиной передачи данных или аналогичным устройством.

[0016] Блок 2 морфологического анализа выполняет морфологический анализ журнала диалога (текстовой информации, содержащейся в диалоге). Журнал диалога хранится, например, в памяти. При необходимости журнал диалога может быть приспособлен для ввода в блок 2 морфологического анализа с помощью устройства ввода или аналогичного устройства. Блок 2 морфологического анализа разделяет журнал диалога на морфемы (слова) и генерирует цепочку слов, т.е. совокупность слов. Блок 2 морфологического анализа выполняет морфологический анализ с использованием, например, MeCab (система морфологического анализа японского языка).

[0017] Блок 3 преобразования словесных векторов преобразовывает значения слов в числа путем преобразования цепочки слов в словесные вектора, указывающие на значение цепочки слов. Блок 3 преобразования словесных векторов преобразовывает цепочку слов, сгенерированную блоком 2 морфологического анализа, в последовательность словесных векторов. Блок 3 преобразования словесных векторов преобразовывает цепочку слов, сгенерированную блоком 2 морфологического анализа, в d-размерную последовательность словесных векторов х=(x1, х2, …, x_t, xk) с использованием, например, Word2Vec[Mikolov13] (метод перевода в количественную форму, выражающий слово путем его векторизации). Слово x_t, являющееся объектом оценки интереса, может, например, представлять собой слово, к которому пользователь может, вероятно, проявить интерес, и заранее задается в памяти и т.п.

[0018] Блок 4 генерации векторов предложений формирует значение предложения, представляющего собой последовательность словесных векторов, путем преобразования последовательности словесных векторов в вектор предложения, указывающий на признак предложения. Блок 4 генерации векторов предложений преобразовывает последовательность словесных векторов, полученную с помощью блока 3 преобразования словесных векторов, в последовательность векторов предложений.

[0019] Способ преобразования последовательности словесных векторов в последовательность векторов предложений будет подробно описан ниже на конкретном примере. Предполагается, что слова, окружающие слово x_t, являющееся объектом оценки интереса, полезны для оценки интереса со стороны пользователя. По этой причине блок 4 генерации векторов предложений использует вектора J слов перед и после слова x_t, являющегося объектом оценки интереса, в качестве контекста.

[0020] Таким образом, блок 4 генерации векторов предложений преобразовывает последовательность векторов x^f=(x_t-l, x_t-l+1, …, x_t-1) слов, предшествующих слову x_t, являющемуся объектом оценки интереса, и последовательность векторов x^s=(x_t+1, x_t+2, …, x_t+l) слов, следующих за словом x_t, являющимся объектом оценки интереса, с помощью первой нейронной сети 7.

[0021] Первая нейронная сеть 7 является конкретным примером второго обучающегося блока. Первая нейронная сеть 7 может представлять собой, например, рекуррентную нейронную сеть (RNN - recurrent neural network). Рекуррентная нейронная сеть имеет долгую краткосрочную память (LSTM - long short term memory) на промежуточном уровне. Вместо первой нейронной сети 7 может использоваться другое обучающееся устройство - например, машина опорных векторов (SVM - support vector machine). Как будет показано в нижеприведенных результатах тестирования, в качестве первой нейронной сети 7 желательно использовать RNN, поскольку она обеспечивает высокую точность определения.

[0022] При вводе данных в первую нейронную сеть 7 добавляется окончание предложения <EOS>, т.е. окончание каждой последовательности словесных векторов. Окончание предложения <EOS> также представляет собой вектор. Элементы вектора от 1-размерного до d-размерного равны нулю, а (d+1)-размерный элемент вектора равен 1. Последовательности словесных векторов последовательно вводятся в первую нейронную сеть 7, а на выходе первой нейронной сети 7 после ввода вектора <EOS> выдается вектор предложения.

[0023] Блок 4 генерации векторов предложений преобразовывает последовательность словесных векторов x^f в последовательность векторов предложений v_i^f с помощью первой нейронной сети 7, и преобразовывает последовательность словесных векторов x^s в последовательность векторов предложений v_i^s с помощью первой нейронной сети 7. Например, как показано на ФИГ. 2, блок 4 генерации векторов предложений генерирует вектор предложения на основе журнала диалога «NERU МАЕ SNS WO MI MASU». Журнал диалога «NERU МАЕ SNS WO MI MASU» записан в японском произношении с использованием алфавита для пояснения. Журнал диалога «NERU МАЕ SNS WO MI MASU» переводится как «Я проверяю SNS перед тем, как идти спать». В данном журнале диалога слово «SNS» является объектом оценки интереса. Несмотря на то, что слова на ФИГ. 2 записаны в японском произношении, они фактически представляют собой вектора, преобразованные с использованием word2vec или аналогичного метода.

[0024] Вначале блок 4 генерации векторов предложений вводит последовательность словесных векторов x^f («NERU», «МАЕ», «<EOS>») в первую нейронную сеть 7 по одному слову, начиная с начала предложения, и устанавливает вектор предшествующего контекста v^f в качестве выходных данных первой нейронной сети 7 после ввода <EOS>. Аналогичным образом, блок 4 генерации векторов предложений генерирует вектор последующего контекста v_i^s на основе последовательности словесных векторов x^s («WO», «МI», «MASU», «<EOS>»). Блок 4 генерации векторов предложений не вводит слово, являющееся объектом оценки интереса («SNS»), в первую нейронную сеть 7, а непосредственно использует словесный вектор в качестве слова x_t, являющегося объектом оценки интереса.

[0025] Затем блок 4 генерации векторов предложений генерирует связанный вектор v_sent=[v^f; x_t; v^s]. Связанный вектор v_sent получается путем объединения вектора предшествующего контекста v^f, вектора слова x_t, являющегося объектом оценки интереса, и вектора последующего контекста v^s. Точка с запятой означает сочетание векторов. То же самое распространяется на нижеследующее описание. Блок 4 генерации векторов предложений определяет наличие интереса у пользователя к слову x_t, являющемуся объектом оценки интереса, с помощью связанного вектора v_sent. Блок 4 генерации векторов предложений вводит связанный вектор v_sent во вторую нейронную сеть 8.

[0026] Вторая нейронная сеть 8 является конкретным примером третьего обучающегося блока. Вторая нейронная сеть 8 представляет собой двумерное распределение вероятностей. Вторая нейронная сеть 8 выдает вероятность «интерес; да», отражающую наличие у пользователя интереса к слову x_t, являющемуся объектом оценки интереса, и вероятность «интерес; нет», отражающую отсутствие у пользователя интереса к слову x_t, являющемуся объектом оценки интереса. Вторая нейронная сеть 8 может быть приспособлена для выдачи только вероятности «интерес; да».

[0027] Вместо второй нейронной сети 8 может использоваться другое обучающееся устройство - например, машина опорных векторов (SVM). Как показано в нижеприведенных результатах тестирования, желательно использовать вторую нейронную сеть 8 с полносвязными уровнями, поскольку она обеспечивает высокую точность определения.

[0028] На ФИГ. 3 приведена структура первой и второй нейронных сетей 7, 8. Как показано на ФИГ. 3, блок 2 морфологического анализа выполняет морфологический анализ журнала диалога и выдает слово, являющееся объектом оценки интереса (определяемое слово), контекстные слова, предшествующие определяемому слову (Слово 1, …, Слово N, EOS), и контекстные слова, следующие за определяемым словом (Слово 1, …, Слово N, EOS), на блок 3 преобразования словесных векторов. Блок 3 преобразования словесных векторов преобразует предшествующие контекстные слова, слово, являющееся объектом оценки интереса, и последующие контекстные слова, выданные блоком 2 морфологического анализа, в последовательности словесных векторов, и выдает преобразованные последовательности словесных векторов на блок 4 генерации векторов предложений.

[0029] Блок 4 генерации векторов предложений вводит последовательности словесных векторов предшествующих контекстных слов и последовательности словесных векторов последующих контекстных слов, выданные блоком 3 преобразования словесных векторов, в первую нейронную сеть 7. В ответ на введенные данные первая нейронная сеть 7 выдает вектор предшествующего контекста и вектор последующего контекста. Блок 4 генерации векторов предложений генерирует связанный вектор v_sent путем объединения вектора предшествующего контекста и вектора последующего контекста, выданных первой нейронной сетью 7, с вектором слова, являющегося объектом оценки интереса, с помощью объединителя векторов, и вводит полученный связанный вектор v_sent во вторую нейронную сеть 8.

[0030] Вторая нейронная сеть 8 может, например, представлять собой сеть с полно связными уровнями (сеть типа Res-Net с восемью уровнями). В ответ на введенные данные вторая нейронная сеть 8 выдает вероятность двумерного класса «интерес; да» и вероятность двумерного класса «интерес; нет».

[0031] Блок 4 генерации векторов предложений оптимизирует первую и вторую нейронные сети 7, 8 с помощью данных для обучения, хранящихся, например, в памяти и т.п.

[0032] На ФИГ. 4 приведен способ оптимизации первой и второй нейронных сетей. Данные для обучения, например, могут представлять собой данные, в которых журнал диалога (n) привязан к метке интереса (n), указывающей на наличие у пользователя интереса к журналу диалога (n) (n=1, …, N). В случае класса «интерес; да» метка интереса (n) устанавливается равной 1 (метка интереса (n)=1). В случае класса «интерес; нет» метка интереса (n) устанавливается равной 0 (метка интереса (n)=0).

[0033] Как показано на ФИГ. 4, вышеописанный процесс повторяется для всех журналов диалога (n) (n=1, …, N), и далее повторяется заданное число раз, соответствующее периоду обучения. Таким образом, производится оптимизация первой и второй нейронных сетей 7, 8. При этом блок 4 генерации векторов предложений оптимизирует первую и вторую нейронные сети 7, 8 таким образом, чтобы минимизировать расхождение между каждой из вероятностей класса «интерес; да» и вероятностей класса «интерес; нет», выдаваемых второй нейронной сетью 8 для каждого журнала диалога (n), и меткой интереса (n), привязанной к журналу диалога (n).

[0034] Блок 4 генерации векторов предложений определяет наличие у пользователя интереса к слову x_t, являющемуся объектом оценки интереса, на основе оптимизированной второй нейронной сети 8. Можно считать, что связанный вектор v_sent, по которому блок 4 генерации векторов предложений в этот раз определил, что у пользователя имеется интерес, играет ключевую роль в определении потенциального интереса, что является основной целью изобретения. Следовательно, когда блок 4 генерации векторов предложений определяет, что у пользователя имеется интерес, блок 4 генерации векторов предложений сохраняет связанный вектор v_sent в память и т.п. Как описано ниже, система определения интереса 1 в соответствии с настоящим вариантом осуществления изобретения формирует модель предпочтений на основе сохраненного в память связанного вектора v_sent, и затем определяет у пользователя наличие интереса к определяемому слову на основе модели предпочтений.

[0035] Блок 5 генерации моделей предпочтений генерирует модель предпочтений, выражающую предпочтения пользователя. Таким образом, имеется возможность накопить словесную информацию, к которой пользователь проявляет интерес. Т.е. модель предпочтений представляет собой информацию, комплексно описывающую предпочтения пользователя. Следовательно, с помощью модели предпочтений, с высокой точностью отражающей предпочтения пользователя, можно с высокой точностью определить наличие интереса у пользователя, как описано ниже.

[0036] Ниже будет подробно описан способ генерирования модели предпочтений. Модель предпочтений представляет собой информацию, в которой фрагменты векторной информации, указывающие на признаки слов, содержащихся в журнале диалога каждого пользователя, классифицируются по каждому пользователю. Блок 5 генерации моделей предпочтений генерирует модель предпочтений на основе связанного вектора v_sent, сгенерированного блоком 4 генерации векторов предложений.

[0037] Блок 5 генерации моделей предпочтений рассчитывает, например, среднее значение связанных векторов v_sent каждого пользователя в виде модели предпочтений на основе сохраненных в память связанных векторов v_sent. Таким образом, путем расчета среднего значения связанных векторов v_sent можно сформировать модель предпочтений, с высокой точностью описывающую предпочтения пользователя. Далее с помощью этой модели предпочтений можно с высокой точностью определить наличие у пользователя интереса к определяемому слову, как будет описано ниже.

[0038] Блок 5 генерации моделей предпочтений рассчитывает среднее значение связанных векторов v_sent каждого пользователя в качестве модели предпочтений; тем не менее, модель предпочтения не ограничивается средним значением связанных векторов v_sent каждого пользователя. Например, блок 5 генерации моделей предпочтений может рассчитывать добавочную величину, получаемую путем сложения сохраненных в памяти связанных векторов v_sent, в качестве модели предпочтений. Кроме того, блок 5 генерации моделей предпочтений может взвешивать каждый из сохраненных в памяти связанных векторов v_sent и затем рассчитывать добавочную величину в качестве модели предпочтений. При том условии, что предпочтения пользователя находят наиболее точное отражение в модели предпочтений, может применяться любой метод расчета.

[0039] На ФИГ. 5 приведен пример процесса генерирования модели предпочтений. Например, как показано на ФИГ. 5, блок 2 морфологического анализа выполняет морфологический анализ журналов диалога с (1) по (N₁), представляющих собой данные для обучения (метка интереса = 1 (определено наличие интереса)), и выдает предшествующие контекстные слова, слово, являющееся объектом оценки интереса, и последующие контекстные слова на блок 3 преобразования словесных векторов. Блок 3 преобразования словесных векторов преобразовывает предшествующие контекстные слова, слово, являющееся объектом оценки интереса, и последующие контекстные слова, выданные блоком 2 морфологического анализа, в последовательности словесных векторов, и передает преобразованные последовательности словесных векторов в блок 4 генерации векторов предложений.

[0040] Блок 4 генерации векторов предложений вводит последовательности словесных векторов предшествующих контекстных слов и последующих контекстных слов, выданные блоком 3 преобразования словесных векторов, в оптимизированную первую нейронную сеть 7. В ответ на введенные данные оптимизированная первая нейронная сеть 7 выдает вектор предшествующего контекста и вектор последующего контекста. Блок 4 генерации векторов предложений объединяет вектор предшествующего контекста и вектор последующего контекста, выданные оптимизированной первой нейронной сетью 7, с вектором слова, являющегося объектом оценки интереса, с помощью объединителя векторов, и генерирует связанный вектор v_sent.

[0041] Как описано выше, объединитель векторов блока 4 генерации векторов предложений генерирует связанный вектор v_sent для каждого из журналов диалога с (1) и (N₁) и выводит связанные вектора v_sent.

[0042] Блок 5 генерации моделей предпочтений генерирует модель предпочтений путем расчета среднего значения связанных векторов v_sent журналов диалога с (1) по (N₁), выданных объединителем векторов. Модель предпочтений может быть заранее сохранена в память и т.п. В этом случае блок 6 определения интереса может быть приспособлен для загрузки модели предпочтений из памяти по необходимости.

[0043] Блок 6 определения интереса определяет наличие у пользователя интереса к слову, не содержащемуся в журналах диалога, путем определения наличия интереса у пользователя к выбранному определяемому слову. Блок 6 определения интереса является конкретным примером блока определения. Блок 6 определения интереса определяет наличие у пользователя интереса к выбранному слову с помощью третьей нейронной сети 9 на основе модели предпочтений, сгенерированной блоком 5 генерации моделей предпочтений. Третья нейронная сеть 9 является конкретным примером первого обучающегося блока.

[0044] На ФИГ. 6 приведена структура третьей нейронной сети. Третья нейронная сеть 9, так же, как и, например, вторая нейронная сеть 8, представляет собой сеть с полносвязными уровнями (сеть типа Res-Net с восемью уровнями).

[0045] Вместо третьей нейронной сети 9 может использоваться другое обучающееся устройство - например, машина опорных векторов (SVM). Как показано в нижеприведенных результатах тестирования, желательно использовать третью нейронную сеть 9 с полносвязными уровнями, поскольку она обеспечивает высокую точность определения.

[0046] Блок 3 преобразования словесных векторов преобразовывает слово в последовательность словесных векторов и передает преобразованную последовательность словесных векторов в блок 4 генерации векторов предложений. Объединитель векторов блока 4 генерации векторов предложений генерирует связанный вектор, получаемый путем объединения последовательности словесных векторов, выданной блоком 3 преобразования словесных векторов, со средним значением связанных векторов v_sent, т.е. с моделью предпочтений, выданной блоком 5 генерации моделей предпочтений. Объединитель векторов блока 4 генерации векторов предложений вводит связанный вектор в третью нейронную сеть 9. Среднее значение связанных векторов v_sent, т.е. модель предпочтений, объединяется с последовательностью словесных векторов слова для того, чтобы придать слову предпочтения, содержащиеся в модели предпочтений. За счет этого объединения достигается привязка предпочтений, содержащихся в модели предпочтений, к слову.

[0047] Например, среднее значение связанных векторов v_sent для пользователя u_j (j=0, 1, …) обозначается как a_uj. Последовательность словесных векторов выбранного слова обозначается как w_uj=(w₁^uj, w₂^uj, …, w_n^uj). Объединитель векторов генерирует связанный вектор [a_uj; w_i^uj], полученный путем объединения среднего значения a_uj связанных векторов v_sent с последовательностью словесных векторов w_uj. Объединитель векторов вводит связанный вектор [а_uj; w_i^uj] в третью нейронную сеть 9. В ответ на введенные данные третья нейронная сеть выдает вероятность двумерного класса «интерес; да» и вероятность двумерного класса «интерес; нет». Третья нейронная сеть 9 может также быть приспособлена для выдачи только вероятности «интерес; да» в ответ на введенные данные.

[0048] Блок 6 определения интереса оптимизирует третью нейронную сеть 9, сконфигурированную вышеописанным образом. Блок 6 определения интереса оптимизирует третью нейронную сеть 9 с помощью данных для обучения, хранящихся, например, в памяти и т.п.

[0049] На ФИГ. 7 приведен способ оптимизации третьей нейронной сети. Данные для обучения, используемые для оптимизации третьей нейронной сети 9, могут например, представлять собой данные, в которых заранее заданное слово (m) привязано к метке интереса (m), указывающей на наличие у пользователя интереса к заранее заданному слову (m) (m=1, …, М). Заранее заданное слово может, например, представлять собой любое слово, включая слова, отсутствующие в журнале диалога пользователя.

[0050] В случае класса «интерес; да» метка интереса (m) устанавливается равной 1 (метка интереса (m)=1). В случае класса «интерес; нет» метка интереса (m) устанавливается равной 0 (метка интереса (m)=0). Данные для обучения могут быть заранее сохранены в память и т.п.

[0051] Как показано на ФИГ. 7, вышеописанный процесс повторяется для всех заранее заданных слов (m) (m=1, …, М), и далее повторяется заданное число раз, соответствующее периоду обучения. Таким образом, производится оптимизация третьей нейронной сети 9. При этом блок 6 определения интереса оптимизирует третью нейронную сеть 9 таким образом, чтобы минимизировать расхождение между каждой из вероятности класса «интерес; да» и вероятности класса «интерес; нет», выдаваемых третьей нейронной сетью 9 для каждого заранее заданного слова (m), с меткой интереса (m), привязанной к заранее заданному слову (m).

[0052] Блок 6 определения интереса определяет наличие у пользователя интереса к определяемому слову на основе модели предпочтений, сгенерированной блоком 5 генерации моделей предпочтений, с помощью оптимизированной третьей нейронной сети 9.

[0053] Среднее значение связанных векторов v_sent, т.е. модель предпочтений, объединяется с последовательностью словесных векторов заранее заданного слова для того, чтобы придать заранее заданному слову предпочтения, содержащиеся в модели предпочтений. За счет этого объединения достигается привязка предпочтений, содержащихся в модели предпочтений, к заранее заданному слову. Поскольку заранее заданное слово может представлять собой любое слово, включая слова, отсутствующие в журнале диалога, можно также привязать предпочтения пользователя к слову, отсутствующему в журнале диалога. Таким образом, путем оптимизации третьей нейронной сети 9 с помощью сгенерированных данных для обучения и последующего использования оптимизированной третьей нейронной сети 9 можно с высокой точностью определить, имеется ли у пользователя интерес не только к словам, присутствующим в диалоге пользователя, но и к словам, отсутствующим в диалоге.

[0054] На ФИГ. 8 приведен способ определения наличия у пользователя интереса к определяемому слову. Блок 3 преобразования словесных векторов преобразовывает определяемое слово в последовательность словесных векторов и передает преобразованную последовательность словесных векторов в блок 4 генерации векторов предложений. Объединитель векторов блока 4 генерации векторов предложений генерирует связанный вектор [a_uj; w_i^uj]. Связанный вектор [a_uj; w_i^uj] получается путем объединения последовательности словесных векторов w_uj, выданной блоком 3 преобразования словесных векторов, со средним значением a_uj связанных векторов v_sent, т.е. с моделью предпочтений, выданной блоком 5 генерации моделей предпочтений.

[0055] Блок 4 генерации векторов предложений вводит сгенерированный связанный вектор [а_uj; w_i^uj] в третью нейронную сеть 9. В ответ на введенные данные третья нейронная сеть 9 выдает вероятность двумерного класса «интерес; да» и вероятность двумерного класса «интерес; нет». Выходные данные третьей нейронной сети 9 представляют собой двумерное распределение вероятности наличия интереса применительно к случаю, когда оценивается наличие интереса к слову, содержащемуся в журнале диалога. Блок 6 определения интереса может определить наличие потенциального интереса к определяемому слову на основе вероятности класса «интерес; да» и вероятности класса «интерес; нет», выданных третьей нейронной сетью 9.

[0056] В настоящем варианте осуществления первая - третья нейронные сети 7, 8, 9 могут не быть независимы друг от друга, и могут быть связаны друг с другом. Т.е. входные данные третьей нейронной сети 9 могут изменяться в зависимости от выходных данных первой и второй нейронных сетей 7, 8.

[0057] Кроме того, для обеспечения эффективного обучения первой -третьей нейронных сетей 7, 8, 9, например, сумма расхождения с правильным ответом при оптимизации второй нейронной сети 8 и расхождения с правильным ответом при оптимизации третьей нейронной сети 9 может быть определена как функция потерь. Таким образом, при оптимизации первой - третьей нейронных сетей 7, 8, 9 с одновременным использованием функции потерь можно извлечь подходящий вектор предложения из журнала диалога и также точно определить наличие интереса к слову, представляющему потенциальный интерес.

[0058] Ниже описана последовательность реализации способа определения интереса, выполняемого системой определения интереса 1 в соответствии с настоящим вариантом осуществления изобретения. На ФИГ. 9 приведена принципиальная блок-схема, демонстрирующая последовательность реализации способа определения интереса в соответствии с настоящим вариантом осуществления изобретения.

[0059] Первая и вторая нейронные сети 7, 8 оптимизируются на основе журналов диалога пользователя (шаг S101).

[0060] Блок 5 генерации моделей предпочтений генерирует модель предпочтений путем расчета среднего значения связанных векторов v_sent, полученных путем объединения векторов предложений, выданных оптимизированной первой нейронной сетью 7 (шаг S102).

[0061] Третья нейронная сеть 9 обучается с помощью связанного вектора, полученного путем объединения среднего значения связанных векторов, т.е. модели предпочтений, с заранее установленным вектором заданного слова, и таким образом оптимизируется (шаг S103).

[0062] При получении оптимизированной третьей нейронной сетью 9 вектора, полученного путем объединения вектора определяемого слова со средним значением связанных векторов, т.е. с моделью предпочтений, оптимизированная третья нейронная сеть 9 выдает вероятность класса «интерес; да» и вероятность класса «интерес; нет» (шаг S104).

[0063] Блок 6 определения интереса определяет наличие у пользователя интереса к определяемому слову на основе вероятности класса «интерес; да» и вероятности класса «интерес; нет», выданных оптимизированной третьей нейронной сетью 9 (шаг S105).

[0064] В соответствии с настоящим вариантом осуществления изобретения был выполнен тест на работоспособность с использованием диалоговых данных двух пользователей в системе определения интереса 1. Результаты теста описаны ниже.

[0065] Всем существительным в диалоговых данных присваивается метка, указывающая на наличие или отсутствие интереса со стороны пользователя. В рамках теста на работоспособность диалоговые данные обрабатываются следующим образом. Каждый фрагмент диалоговых данных разделяется на две равные части по количеству реплик, содержащихся в каждом диалоге. Первая половина каждого фрагмента диалоговых данных используется в качестве журнала диалога, передаваемого в систему определения интереса 1. Во второй половине каждого фрагмента диалоговых данных выбирается существительное, являющееся объектом оценки потенциального интереса (вторая половина диалоговых данных не передается в систему определения интереса 1). Работа системы определения интереса 1 в соответствии с настоящим вариантом осуществления изобретения оценивается следующим образом. Существительное, являющееся объектом оценки потенциального интереса, предоставляется каждому пользователю с точки зрения того, что существительное содержится в реплике соответствующего пользователя во второй половине диалоговых данных, после чего определяется, проявляет ли пользователь, являющийся автором реплики, содержащей существительное, интерес к существительному.

[0066] Ниже будут подробно описаны диалоговые данные, использовавшиеся в тесте. Для сбора диалоговых данных производился набор участников теста с помощью облачного сервиса, после чего формировались 100 фрагментов данных, каждый из которых состоял из 1-часового диалога. В целях обучения и оценки всем существительным, содержащимся в собранных диалоговых данных, присваивалась аннотация, указывающая на наличие или отсутствие интереса со стороны аннотатора. Существительные автоматически извлекались блоком 2 морфологического анализа. Каждый аннотатор получал диалоговые данные и существительные, присутствующие в диалоге, и присваивал каждому существительному одну из двух меток - «заинтересован» или «не определился либо не заинтересован». Критерием присвоения служил предполагаемый ответ аннотатора, произнесшего слова, включающие в себя аннотируемое существительное, на заданные ему вопросы, т.е. «Заинтересованы ли Вы в () (вставить соответствующее существительное)?» или «Заинтересованы ли Вы в теме, касающейся () (вставить соответствующее существительное)?». Если предложение не имело смысла на японском языке после вставки существительного в отведенное в скобках место в вопросе, присваивалась метка «не определился либо не заинтересован». На основе вышеприведенных критериев десять привлеченных аннотаторов самостоятельно произвели аннотации, после чего правильная метка была определена по правилу большинства. При одинаковом количестве меток «заинтересован» и меток «не определился либо не заинтересован» (каждой по пять) присваивалась метка «не определился либо не заинтересован». На ФИГ. 10 приведен пример статистических характеристик использованных данных. Каппа Флейса, отражающая степень совпадения аннотаций среди аннотаторов, составляла 0,50, указывая на среднюю степень совпадения.

[0067] Ниже будут подробно описаны параметры теста. В Word2Vec был задан размер окна 5, минимальная частота появления 10 и число размерностей вектора 1000, после чего было произведено обучение с использованием примерно 100 Гб данных. Пять слов, предшествующих существительному, являющемуся объектом оценки интереса, и пять слов, следующих за существительным, являющимся объектом оценки интереса, использовались для формирования вектора контекста (J=5). Входной уровень RNN (первой нейронной сети 7), отвечавший за формирование вектора контекста, имел 1001 размерностей. Входной уровень второй нейронной сети 8, отвечавший за оценку интереса к содержащемуся в диалоге существительному, имел 3000 размерностей. Входной уровень третьей нейронной сети 9, отвечавший за оценку потенциального интереса, имел 4000 размерностей. Каждый из промежуточных уровней имел 1000 размерностей. Ко всем промежуточным уровням был применен коэффициент выбывания, который был установлен на 30%. Заданное число раз, соответствующее периоду обучения был установлено равным 30, а оценка выполнялась на основе точности определения показателя «заинтересован», коэффициента полноты и F-меры с десятикратной перекрестной валидацией.

[0068] Ниже будет подробно описан метод сравнения. Для оценки метода, соответствующего настоящему варианту осуществления изобретения, была подготовлена единая модель, одновременно обновляющая две нейронные сети, раздельная модель, отделяющая третью нейронную сеть 9 для оценки потенциального интереса, неглубокая модель, в которой количество уровней в каждой из первой - третьей нейронных сетей 7, 8, 9 было установлено равным одному, и глубокая модель, в которой все сети представляли собой восьмиуровневые сети ResNet[He16]. В раздельной модели первая и вторая нейронные сети 7, 8, отвечавшие за формирование вектора контекста, отделялись от третьей нейронной сети 9, при этом функции потерь тоже разделялись. С целью отделения третьей нейронной сети 9 выходные данные (вектор контекста) первой нейронной сети 7 не использовались для оценки потенциального интереса, а вместо среднего вектора предложения использовался средний словесный вектор. Так же, как и в случае с единой моделью, результаты работы второй нейронной сети 8 использовались для выбора словесных векторов для усреднения. Тест проводился в четырех отдельных вариантах - с раздельной неглубокой моделью, раздельной глубокой моделью, единой неглубокой моделью и единой глубокой моделью. Эти модели представляли собой сочетания вышеописанных моделей. В качестве эталонного метода были выполнены тесты с использованием следующих двух методов.

Эталон 1

[0069] Потенциальный интерес оценивается на основе схожести с существительным в журнале диалога в качестве эталона схожести слов. В этом методе все существительные, содержащиеся в диалоге, преобразовываются в словесные вектора с помощью Word2Vec, при этом показатель «заинтересован» или «не определился либо не заинтересован» определяется на основе косинусного коэффициента подобия между средним значением словесных векторов и вектором существительного, являющегося объектом оценки потенциального интереса. В ходе оценки порог схожести изменяется от 0,0 до 1,0 с шагом 0,1, а результат при максимальной F-мере принимается за результат данного метода.

Эталон 2: SVM

[0070] В качестве другого эталона выполняется определение с помощью SVM. В этом методе в качестве входного вектора используется вектор, полученный путем объединения среднего вектора, используемого для оценки схожести слов в Эталоне 1, с вектором существительного, являющегося объектом оценки потенциального интереса, при этом наличие потенциального интереса классифицируется по двум классам с помощью SVM.

[0071] Ниже будут подробно описаны результаты тестов. На ФИГ. 11 приведена таблица с результатами тестов. Как показано на ФИГ. 11, F-мера имеет наибольшее значение в единой глубокой модели, и последовательно уменьшается в порядке: единая неглубокая модель, раздельная неглубокая модель и раздельная глубокая модель. Этот метод продемонстрировал лучшие результаты, чем метод схожести слов или SVM в вышеописанном эталонном методе.

[0072] Можно предположить, что, поскольку в методе, основанном на схожести слов, использовались все существительные, содержащиеся в журнале диалога, это привело к использованию большого количества слов при расчете среднего словесного вектора независимо от наличия интереса, в результате чего были получены низкие результаты.

[0073] Предполагается, что причина, по которой способ определения интереса на основе нейронных сетей показал лучшие результаты, чем метод, основанный на SVM, состоит в том, что четыре модели на основе чисто нейронных сетей используют контекстную информацию речи с помощью RNN, в то время как модель SVM выполняет оценки, опираясь только на содержащиеся в речи существительные.

[0074] При сравнении моделей на основе нейронных сетей друг с другом единая неглубокая модель и единая глубокая модель показывают лучшие результаты оценки, чем раздельная неглубокая модель и раздельная глубокая модель.

[0075] Из результатов можно сделать вывод, что способ определения интереса в соответствии с настоящим вариантом осуществления изобретения, в котором объединяются два накопившихся расхождения и осуществляется обучение целой модели, является эффективным. Если рассматривать разницу между неглубокой моделью и глубокой моделью, то в неглубокой модели F-мера имеет большее значение, а при ее использовании достигаются лучшие результаты, чем с помощью глубокой модели, в раздельной модели. С другой стороны, в единой модели глубокая модель имеет слегка большее значение F-меры, и показывает лучшие результаты, чем неглубокая модель. В частности, единая глубокая модель показывает наилучшие результаты среди всех методов. На основе полученных результатов можно предположить, что сочетание нейронной сети, состоящей из большого числа уровней, с единой моделью является эффективным.

[0076] На ФИГ. 12 приведена выдержка из первой половины диалога, использовавшегося в тесте. На ФИГ. 13 приведены частичные результаты определения потенциального интереса, выполненного с помощью единой модели, в отношении представляющих потенциальный интерес существительных, извлеченных из второй половины диалога. На ФИГ. 14 приведены частичные результаты определения с помощью SVM. На ФИГ. 13 и ФИГ. 14 кружок означает «заинтересован», а крестик - «не определился либо не заинтересован».

[0077] Из примера диалога очевидно, что как Пользователь 1, так и Пользователь 2 проявляют интерес к алкогольным напиткам. На основе этого можно предположить, что Пользователь 1 и Пользователь 2 могут иметь определенный интерес к закускам к алкогольным напиткам. Выглядит так, что как нейронные сети в соответствии с настоящим вариантом осуществления изобретения, так и SVM оказались способны корректно определить наличие интереса к «сыру», «копченым продуктам» и «сырой ветчине». Нейронные сети в соответствии с настоящим вариантом осуществления изобретения, смогли корректно определить, что Пользователя 1 интересуют темы, связанные с музыкой - такие, как «музыкальный инструмент» и «гитара», и что Пользователь 2 не проявляет такого интереса к темам, связанным с музыкой. С другой стороны, выглядит так, что SVM не смог выполнить определение отдельно по каждому участнику диалога, и пришел к выводу, что как Пользователь 1, так и Пользователь 2 проявляют интерес к словам «сыр», «музыкальный инструмент» и «гитара», которые являются общими для обоих пользователей. Из вышеприведенных результатов видно, что нейронные сети в соответствии с настоящим вариантом осуществления изобретения смогли корректно определить потенциальный интерес отдельно по каждому пользователю.

[0078] В системе определения интереса в соответствии с настоящим вариантом осуществления изобретения третья нейронная сеть 9 обучается с помощью входного значения и выходного значения, при этом входное значение представляет собой векторную информацию, привязывающую векторную информацию модели предпочтений, указывающую на предпочтения пользователя, к заранее установленному вектору заданного слова, а выходное значение представляет собой информацию, указывающую на наличие или отсутствие интереса со стороны пользователя. Векторная информация, привязывающая векторную информацию, указывающую на признак определяемого слова, к векторной информации модели предпочтений вводится в третью нейронную сеть 9. Блок 6 определения интереса определяет наличие у пользователя интереса к определяемому слову на основе выходного значения, выданного третьей нейронной сетью 9.

[0079] Таким образом, обеспечивается обучение третьей нейронной сети 9 с использованием векторной информации, привязывающей модель предпочтений, комплексно описывающую предпочтения пользователя, к выбранному заранее заданному слову, которое еще не появлялось в диалоговой информации. Следовательно, в третью нейронную сеть 9 вносятся данные не только о предпочтениях, основанные на присутствующих в диалоговой информации словах, к которым пользователь проявляет интерес, но также и о предпочтениях, основанных на заранее заданных словах, включая слова, отсутствующие в диалоговой информации, к которым пользователь проявляет интерес. Таким образом, при определении наличия у пользователя интереса к определяемому слову с помощью третьей нейронной сети 9 имеется возможность с высокой точностью определять, имеется ли у пользователя интерес не только к словам, присутствующим в диалоге пользователя, но и к словам, отсутствующим в диалоге.

[0080] Изобретение не ограничивается вышеописанными вариантами осуществления. Вышеописанные варианты осуществления могут изменяться по необходимости без отступления от объема изобретения. Например, в вышеописанных вариантах осуществления компоненты (блок 2 морфологического анализа, блок 3 преобразования словесных векторов, блок 4 генерации векторов предложений, блок 5 генерации модели предпочтений, блок 6 определения интереса и первая - третья нейронные сети 7, 8, 9), входящие в состав системы определения интереса 1, и данные для обучения, приведенные на ФИГ. 4, а также другие компоненты могут быть реализованы не только в виде единой системы, на одном центральном процессоре и т.п., но и в варианте, когда для каждого компонента или любого их сочетания предусматривается собственный центральный процессор или ПК, или они могут быть соединены друг с другом посредством линии связи.

[0081] Изобретение, может быть реализовано так, что процесс, показанный на ФИГ. 9, обеспечивается, например, путем выполнения центральным процессором компьютерной программы.

[0082] Программа может храниться на различных видах энергонезависимых машиночитаемых носителей и передаваться в компьютер. К энергонезависимым машиночитаемым носителям относятся различные виды физических носителей данных. Примерами энергонезависимых машиночитаемых носителей являются магнитные носители (например, гибкий диск, магнитная лента или жестких диск), магнитооптические носители (например, магнитооптический диск), компакт-диски, предназначенные только для чтения (CD-ROM), CD-R, CD-R/W, и полупроводниковая память (например, масочное постоянное запоминающее устройство (ROM), программируемое постоянное запоминающее устройство (PROM), стираемое программируемое постоянное запоминающее устройство (EPROM), флэш-ROM или оперативная память (RAM)).

[0083] Программа может передаваться в компьютер с помощью различных типов промежуточных машиночитаемых носителей. Примерами промежуточных машиночитаемых носителей являются электрические сигналы, оптические сигналы и электромагнитные волны. Промежуточный машиночитаемый носитель может передавать программу в компьютер по проводной связи (например, электрическим проводам или оптическим волокнам) или по беспроводной связи.

1. Система определения интереса к слову, отсутствующему в текущем диалоге пользователя, содержащая:

блок сбора данных, приспособленный для получения первой группы данных, представляющей собой модель предпочтений, указывающей на предпочтения пользователя для каждого слова, когда-либо присутствовавшего в диалоговой информации пользователя;

первый обучающийся блок, приспособленный для обучения с помощью первого входного значения и первого выходного значения, при этом первое входное значение представляет собой группу данных, связывающих первую группу данных, полученную блоком сбора данных, со второй группой данных, указывающих на признак заранее заданного слова, а первое выходное значение представляет собой информацию, указывающую на наличие или отсутствие интереса со стороны пользователя; и

блок определения, приспособленный для того, чтобы при вводе в первый обучающийся блок группы данных, связывающих третью группу данных, указывающую на признак отсутствующего в текущем диалоге определяемого слова, с первой группой данных, полученных блоком сбора данных, определять наличие интереса у пользователя к отсутствующему в текущем диалоге определяемому слову на основе выходного значения, выданного первым обучающимся блоком.

2. Система определения интереса по п. 1, в которой:

первая группа данных, полученная блоком сбора данных, представляет собой первую векторную информацию, представленную в виде количественно выраженной и векторизированной информации о признаках каждого слова, содержащегося в диалоговой информации пользователя;

первый обучающийся блок приспособлен для обучения с использованием первого входного значения и первого выходного значения, при этом первое входное значение представляет собой векторную информацию, связывающую первую векторную информацию, полученную блоком сбора данных, со второй векторной информацией в форме второй группы данных, указывающих на признак заранее заданного слова, а первое выходное значение представляет собой информацию, указывающую на наличие или отсутствие интереса со стороны пользователя; и

блок определения приспособлен для того, чтобы при вводе в первый обучающийся блок векторной информации, связывающей третью векторную информацию, указывающую на признак определяемого слова, с первой векторной информацией, полученной блоком сбора данных, определять наличие интереса со стороны пользователя к определяемому слову на основе выходного значения, выданного первым обучающимся блоком.

3. Система определения интереса по п. 2, в которой блок сбора данных включает в себя:

блок преобразования словесных векторов, приспособленный для преобразования слова, являющегося объектом оценки интереса, предшествующего контекстного слова и последующего контекстного слова в диалоговой информации пользователя в словесные векторы, при этом слово, являющееся объектом оценки интереса, представляет собой слово, к которому проявляет интерес пользователь, предшествующее контекстное слово представляет собой слово или заранее заданное количество слов перед словом, являющимся объектом оценки интереса, а последующее контекстное слово представляет собой слово или заранее заданное количество слов после слова, являющегося объектом оценки интереса; и

блок генерации векторов предложений, приспособленный для преобразования вектора предшествующего контекстного слова, полученного с помощью блока преобразования словесных векторов, в вектор предшествующего контекста с помощью второго обучающегося блока, и преобразования вектора последующего контекстного слова, полученного с помощью блока преобразования словесных векторов, в вектор последующего контекста с помощью второго обучающегося блока, при этом каждый из вектора предшествующего контекста и вектора последующего контекста указывает на признак предложения, а блок генерации векторов предложений приспособлен для генерирования связанного вектора, получаемого путем привязки преобразованного вектора предшествующего контекста и преобразованного вектора последующего контекста к вектору слова, являющегося объектом оценки интереса.

4. Система определения интереса по п. 3, в которой:

блок генерации векторов предложений приспособлен для генерирования связанного вектора для каждого фрагмента диалоговой информации, к которому пользователь проявляет интерес; и

блок сбора данных дополнительно включает в себя блок генерации моделей предпочтений, приспособленный для расчета среднего значения связанных векторов, сгенерированных блоком генерации векторов предложений, в виде векторной информации о пользователе в модели предпочтений.

5. Система определения интереса по п. 3 или 4, дополнительно содержащая третий обучающийся блок, приспособленный для оптимизации с использованием второго входного значения и второго выходного значения, при этом второе входное значение представляет собой связанный вектор, сгенерированный блоком генерации векторов предложений, а второе выходное значение представляет собой информацию, указывающую на наличие или отсутствие интереса со стороны пользователя.

6. Система определения интереса по п. 5, в которой первый обучающийся блок, второй обучающийся блок и третий обучающийся блок приспособлены для одновременной оптимизации.

7. Система определения интереса по п. 5, в которой каждый из первого обучающегося блока, второго обучающегося блока и третьего обучающегося блока представляет собой нейронную сеть.

8. Способ определения интереса к слову, отсутствующему в текущем диалоге пользователя, содержащий:

получение первой группы данных, представляющих собой модель предпочтений, указывающей на предпочтения пользователя для каждого слова, когда-либо присутствовавшего в диалоговой информации пользователя;

обеспечение обучения первого обучающегося блока с использованием первого входного значения и первого выходного значения, где первое входное значение представляет собой группу данных, связывающих первую группу данных со второй группой данных, указывающих на признак заранее заданного слова, а первое выходное значение представляет собой информацию, указывающую на наличие или отсутствие интереса со стороны пользователя; и

при вводе в первый обучающийся блок группы данных, связывающих третью группу данных, указывающих на признак отсутствующего в текущем диалоге определяемого слова, с первой группой данных, определение наличия интереса у пользователя к отсутствующему в текущем диалоге определяемому слову на основе выходного значения, выданного первым обучающимся блоком.

9. Машиночитаемый носитель информации, содержащий:

носитель информации, приспособленный для хранения компьютерной программы, предназначенной для определения интереса к слову, отсутствующему в текущем диалоге пользователя, при этом при исполнении компьютерной программы она обеспечивает выполнение компьютером инструкций по:

i) получению первой группы данных, представляющих собой модель предпочтений, указывающей на предпочтения пользователя для каждого слова, когда-либо присутствовавшего в диалоговой информации пользователя;

ii) обеспечению обучения первого обучающегося блока с использованием первого входного значения и первого выходного значения, где первое входное значение представляет собой группу данных, связывающих первую группу данных со второй группой данных, указывающих на признак заранее заданного слова, а первое выходное значение представляет собой информацию, указывающую на наличие или отсутствие интереса со стороны пользователя; и

iii) при вводе в первый блок обучения группы данных, связывающих третью группу данных, указывающих на признак отсутствующего в текущем диалоге определяемого слова, с первой группой данных, определению наличия интереса у пользователя к отсутствующему в текущем диалоге определяемому слову на основе выходного значения, выданного первым обучающимся блоком.