Система, способ и компьютерный программный продукт для обработки взаимодействия человекоподобного робота с человеком

Изобретение относится к способу управления взаимодействием человекоподобного робота с человеком. Способ обеспечивает возможность систематического запоминания всех событий, обнаруженных в среде человекоподобного робота, и классификации их в качестве временных стимулов. Когда робот установлен с возможностью анализа событий, процесс обеспечивает возможность выбора одного предпочтительного стимула среди запомненных стимулов и в зависимости от текущей деятельности робота для робота генерируют одно или несколько действий. 3 н. и 12 з.п. ф-лы, 6 ил.

 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится, в общем, к области программирования роботов и, более конкретно, к системе, способу и компьютерному программному продукту для обработки взаимодействия человекоподобного робота с человеком.

УРОВЕНЬ ТЕХНИКИ

Хотя робототехника давно применяется в промышленности и все больше становится неотъемлемой составной частью персональных услуг, человекоподобная робототехника все еще находится в начале своего развития, поскольку многие новые задачи должны быть решены для создания человекоподобных роботов, которые интегрируют человеческое поведение, чтобы стать роботами-товарищами.

Большинство известных человекоподобных роботов при взаимодействии с человеком кажутся довольно пассивными или статическими человекоподобными роботами. Они обычно отвечают стандартизированными реакциями на человеческую просьбу, имеют ограниченные упреждающие решения, что делает, в результате, взаимоотношения человек/робот менее привлекательными для пользователя.

Создание человекоподобного робота, имеющего более естественное взаимодействие с человеком, является сложной задачей, связанной с многочисленными техническими проблемами, несравнимыми с проблемами взаимодействия пользователей с обычными компьютерами общего назначения.

Среди этих проблем, неправильное восприятие человека и/или ложное обнаружение человека может привести к несоответствующим или даже опасным типам поведения робота, что, следовательно, ставит задачи обеспечения безопасности при взаимодействии человека и робота.

Таким образом, существует потребность в системах и способах, улучшающих взаимодействие человекоподобного робота с человеком. Настоящее изобретение предлагает решение для этой задачи.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Таким образом, задачей настоящего изобретения является обеспечение системы и способа, обеспечивающих роботу возможность быть более скоординированным с человеком и действовать таким образом, как будто он/она имеет свою собственную информированность.

Для решения вышеупомянутой задачи, обеспечены система, способ и компьютерный программный продукт, дополнительно описанные в независимых пунктах 1, 13 и 14 приложенной формулы изобретения.

Конкретно, обеспечен способ, реализуемый в человекоподобном роботе, для обработки взаимодействия человекоподобного робота с человеком, причем способ содержит этапы:

- запоминания событий, обнаруживаемых в среде человекоподобного робота, в хранилище стимулов в качестве временных стимулов, по меньшей мере с указанием положения события;

- определения того, что один из временных стимулов соответствует человеческому стимулу;

- использования правил уместности для выбора одного стимула среди запомненных стимулов и упомянутого одного человеческого стимула;

- обработки упомянутого выбранного стимула в зависимости от текущей деятельности и режима контакта с человеком упомянутого человекоподобного робота; и

- в ответ на этап обработки, генерации одного или нескольких действий человекоподобного робота.

В одном варианте осуществления, события являются одним или несколькими из обнаружения перемещения, тактильного восприятия, локализации звука, обнаружения лиц, визуального восприятия, распознавания изображений.

Предпочтительно, временные стимулы сгруппированы согласно типу обнаруженного события по меньшей мере в группе стимулов перемещения, группе звуковых стимулов, группе сенсорных стимулов, группе человеческих стимулов.

В одном варианте осуществления, хранилище стимулов дополнительно содержит группу псевдостимулов для запоминания постоянных стимулов.

Предпочтительно, правила уместности используют приоритетные критерии в отношении групп стимулов и псевдостимулов.

Предпочтительно, этап определения состоит в использовании информации, обеспечиваемой двумерной камерой и/или трехмерной камерой.

В одном варианте осуществления, текущей деятельностью человекоподобного робота является отслеживание человека.

В другом варианте осуществления, этап обработки дополнительно содержит этап использования указания на положение события, соответствующего выбранному стимулу, для определения того, найден ли новый человек в области около направления стимула.

Предпочтительно, одно или несколько действий человекоподобного робота содержат активизацию элементов робота для отслеживания нового человека. Предпочтительно, одна из активизаций состоит в ориентировании датчиков в направлении положения обнаруженного стимула.

Кроме того, предпочтительно, способ дополнительно содержит этап обновления хранилища стимулов с использованием информации о положении найденного нового человека.

Предпочтительно, способ обеспечивает возможность поддержания человекоподобного робота в визуально активном состоянии, даже когда никакие стимулы не воспринимаются, посредством обеспечения возможности малых перемещений элементов робота, подобных дыханию, или использования светодиодов или воспроизведения звуков для демонстрации его/ее доступности для предстоящего взаимодействия.

Настоящее изобретение также обеспечивает систему для обработки взаимодействия человекоподобного робота с человеком. Эта система функционирует под управлением операционной системы и содержит по меньшей мере один процессор; и средство, связанное с процессором, для реализации этапов способа.

Настоящее изобретение может быть также обеспечено в виде компьютерного программного продукта, содержащего некратковременную компьютерно-читаемую запоминающую среду и программный код, запоминаемый в компьютерно-читаемой запоминающей среде и выполненный с возможностью, при исполнении, предписывать процессору выполнять этапы способа.

Дополнительные аспекты настоящего изобретения будут теперь описаны, посредством предпочтительной реализации и примеров, со ссылкой на сопутствующие чертежи.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Вышеупомянутые и другие элементы, признаки и преимущества настоящего изобретения будут лучше понятны после прочтения нижеследующего более конкретного описания настоящего изобретения в сочетании с фигурами, в которых:

Фиг. 1 показывает общую среду для реализации системы настоящего изобретения;

Фиг. 2 является блок-схемой примерной системы взаимодействия, согласно одному варианту осуществления настоящего изобретения;

Фиг. 3 является подробной блок-схемой модуля обнаружения событий по фиг. 2, согласно одному варианту осуществления настоящего изобретения;

Фиг. 4а-4с являются блок-схемами последовательностей операций, иллюстрирующими основные этапы обработки взаимодействия с роботом согласно различным ситуациям контакта.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

Варианты осуществления настоящего изобретения описаны здесь с помощью примеров со ссылкой на сопутствующие фигуры и чертежи.

Со ссылкой сначала на фиг. 1, описана общая техническая среда для функционирования настоящего изобретения. Робот 130 содержит датчики и исполнительные механизмы. Логический модуль или «интеллектуальная логика» 100 реализована в роботе или связана с ним (например, удаленно) и содержит набор программных средств 110 и аппаратные компоненты 120.

Предпочтительный вариант осуществления человекоподобного робота для реализации настоящего изобретения полностью описан в заявке на патент, озаглавленной «Человекоподобный робот со способностью автономного функционирования» («Humanoid Robot With An Autonomous Life Capability»), поданной в тот же день Заявителем, причем интеллектуальная логика реализована в виде части операционной системы под названием NAOqi™ OS.

Робот 130 взаимодействует (посредством двунаправленных или двусторонних средств 140 связи, включающих в себя один или несколько диалоговых сеансов) с одним или несколькими пользователями 150. Упомянутые один или несколько пользователей могут осуществлять доступ к другим вычислительным устройствам 160 (например, персональному компьютеру, такому как переносной компьютер или смартфон или планшет), которые могут быть подключенными устройствами (могут иметь связь с облаком серверов и/или множеством других роботов или подключенных объектов и т.д.). Конкретно, подключенное устройство может быть переносным компьютером (например, часами, очками, шлемом с эффектом присутствия и т.д.).

Конкретный робот 130 на фигуре приведен только в качестве примера человекоподобного робота, в котором может быть реализовано настоящее изобретение. Нижняя конечность робота на фигуре не функциональна для ходьбы, но может перемещаться в любом направлении на своем основании, которое может катиться по поверхности, на которой оно находится. Настоящее изобретение может быть легко реализовано в роботе, который подходит для ходьбы.

В некоторых вариантах осуществления настоящего изобретения, робот может содержать различные виды датчиков. Некоторые из них используются для контроля положения и перемещений робота. Это имеет место в случае, например, инерциального блока, расположенного в туловище робота, содержащего трехосный гирометр и трехосный акселерометр. Робот может также включать в себя две двумерные цветные RGB-камеры на лбу робота (верхнюю и нижнюю). Трехмерный датчик может также находиться позади глаз робота. Робот может также необязательно содержать генераторы лазерных линий, например, в голове и в основании, для обеспечения возможности восприятия его относительного положения по отношению к объектам/существам в его среде. Робот может также включать в себя микрофоны для обеспечения возможности восприятия звуков в его среде. Робот настоящего изобретения может также включать в себя ультразвуковые датчики, которые могут быть расположены на передней части и на задней части его основания, для измерения расстояния до объектов/людей в его среде. Робот может также включать в себя тактильные датчики, на его голове и на его руках, для обеспечения возможности взаимодействия с людьми. Он может также включать в себя демпфер на своем основании для восприятия препятствий, которые он встречает на своем пути. Для передачи его эмоций и установления связи с людьми в его среде, робот настоящего изобретения может также включать в себя светодиоды, например, в его глазах, ушах и на его плечах, и громкоговорители (например, расположенные в его ушах). Робот может устанавливать связь с базовой станцией, с другими подключенными устройствами или с другими роботами, через различные сети (3G, 4G/LTE, Wifi, BLE, ячеистую сеть и т.д.). Робот содержит аккумуляторную батарею или источник энергии. Робот может осуществлять доступ к зарядной станции, соответствующей типу аккумуляторной батареи, которую он включает в себя. Положением/перемещениями роботов можно управлять посредством их двигателей, с использованием алгоритмов, которые активируют цепи, находящиеся в каждой конечности, и рабочие органы, находящие на конце каждой конечности, с учетом измерений датчиков.

В конкретном варианте осуществления, робот может иметь встроенный планшет, с помощью которого он может передавать сообщения (звуковые сообщения, видео, веб-страницы) в его среду или принимать вводы данных от пользователей через тактильный интерфейс планшета. В другом варианте осуществления, робот может не иметь встроенного или находящегося на нем экрана, но он может иметь видеопроектор, с помощью которого данные или информация могут быть спроецированы на поверхности вблизи робота. Упомянутые поверхности могут быть плоскими (например, пол) или неплоскими (например, деформации проекционных поверхностей могут быть скомпенсированы для получения, по существу, плоской проекции). В обоих вариантах осуществления (с экраном и/или с видеопроектором), варианты осуществления настоящего изобретения остаются допустимыми: заявленная модель взаимодействия дополняется или комплектуется только визуальным средством взаимодействия. В любом случае, независимо от того, будет ли графическое средство неисправно или будет деактивировано преднамеренно, останется диалоговый режим взаимодействия.

В одном варианте осуществления, робот не содержит такого средства графического пользовательского интерфейса. Существующие человекоподобные роботы обычно снабжены усовершенствованными речевыми возможностями но, обычно, не снабжены GUI. Все большие группы пользователей, вероятно, не будут использовать графическое средство (например, планшет, смартфон), даже в качестве дополнительного средства, для установления связи с роботом, по желанию и/или по необходимости (молодежь, инвалиды, в практической ситуации и т.д.).

Фиг. 2 обеспечивает блок-схему, которая иллюстрирует основные компоненты системы 200 обработки взаимодействия, согласно одному варианту осуществления настоящего изобретения. Система 200 обработки взаимодействия может быть выполнена с возможностью выполнения операций обработки взаимодействия человекоподобного робота с человеком в качестве реакции на обработку внешних событий, обнаруженных компонентом 202 обнаружения событий. Компонент обнаружения событий более подробно описан ниже со ссылкой на фиг. 3.

Система 200 обработки взаимодействия содержит хранилище 204 стимулов для запоминания стимулов, выданных компонентом 202 обнаружения событий. Система 200 обработки взаимодействия дополнительно содержит компонент 206 выбора стимула, связанный с базой 207 данных правил уместности, определяющей набор правил для выбора стимула, подлежащего обработке компонентом 210 обработки стимула.

Компонент 208 состояния робота связан с компонентом 210 обработки стимула для обеспечения дополнительной информации о состоянии робота, конкретно, о ситуации контакта робота. Выход компонента 210 обработки стимула связан с компонентом 212 активизации поведения робота. Компонент 212 активизации поведения робота обеспечивает возможность генерации поведения человекоподобного робота в качестве реакции на данные компонента 210 обработки стимула. Компонент 214 положения робота также является частью системы 200 для сервоуправления положением робота согласно перемещениям человека.

Как также показано на фиг. 2, система 200 обработки взаимодействия функционирует под управлением операционной системы 20 и по меньшей мере одного процессора 22. В предпочтительном варианте осуществления, операционная система является уже упомянутой NAOqi™ OS, где система обработки взаимодействия настоящего изобретения реализована в виде компонента под названием «Услуга базовой информированности», который связан с компонентом «Услуги средства извлечения». Компонент Базовой информированности конфигурируют на основе ситуации или конфигурируют посредством Непрерывной Деятельности, или он действует сам по себе.

Хранилище 204 стимулов обеспечивает возможность временного запоминания каждого стимула, который обеспечен компонентом 202 обнаружения событий, до тех пор, пока не подтвердится, что стимул исходит от человека. Для легкости описания, такой стимул, исходящий от человека, далее в настоящем описании именуется «человеческим стимулом», в то время как любой другой вид стимула именуется «нечеловеческим стимулом». Временные стимулы в хранилище организованы в группы согласно типу обнаруженного события. По существу, хранилище содержит группу стимулов перемещения, для группирования всех стимулов, принятых от любого из датчиков перемещения, группу звуковых стимулов, для группирования всех стимулов, принятых от любых звуковых датчиков, группу сенсорных стимулов, для группирования всех стимулов, принятых от любых тактильных датчиков, и группу человеческих стимулов, для группирования всех стимулов, принятых от детектора восприятия людей.

Дополнительные стимулы, которые не обеспечиваются детекторами напрямую, а являются сигналами стимулов с внутренней генерацией, также хранятся в хранилище стимулов и именуются далее «псевдостимулами». При выборе компонентом 206 выбора стимула, псевдостимул обрабатывается компонентом 210 обработки стимула.

Примерами таких псевдостимулов являются:

- «Индуцированный человеком» псевдостимул, обеспечивающий подобную информацию, что и человеческий стимул, но имеющий более высокий приоритет в правилах уместности;

- «Переустанавливающий голову» псевдостимул, используемый для переустановки головы робота в ее принимаемое по умолчанию положение. Этот псевдостимул имеет низкий приоритет в правилах уместности.

Предпочтительно, временные стимулы могут быть удалены из хранилища стимулов. В предпочтительном варианте осуществления, хранилище стимулов опустошают после обработки стимула. Однако, специалисты в данной области техники могут применить другие критерии, не выходя за рамки объема настоящего изобретения.

Компонент 206 выбора стимула обеспечивает возможность выбора стимула из хранилища стимулов, который, по всей вероятности, приведет к обнаружению человека. Правила уместности обеспечивают возможность определения более уместного стимула на основе, например, приоритетных критериев. Правила уместности могут быть предопределены или обновлены программистом в зависимости от контекста применения человекоподобного робота.

В предпочтительном варианте осуществления, приоритеты иерархически определены для групп стимулов, причем группы стимулов, связанные, по всей вероятности, с человеком, имеют более высокий приоритет, что приводит к следующему ранжированию стимулов: Индуцированный человеком стимул более высокого приоритета, далее группа человеческих стимулов, далее группа сенсорных стимулов, далее группа звуковых стимулов, далее группа стимулов перемещения, и Переустанавливающий голову стимул с низким приоритетом.

В то время как правила уместности предпочтительно определены для обнаружения человека в среде человекоподобного робота, специалисты в данной области техники могут легко разработать любые другие правила уместности, приспособленные для другого применения.

Компонент выбора стимула содержит подпрограмму программного обеспечения, основанную на правилах уместности, для сравнения стимулов одной группы и определения более уместного стимула в пределах группы. Это определение может быть основано на моменте времени, когда стимул запоминается в хранилище стимулов, или может, например, использовать последний стимул, запомненный в группе, такой как группа касаний, например. Однако, могут быть реализованы любые другие критерии определения. Например, обнаружение звука генерирует доверительный параметр, и выбор в пределах группы звуков выполняют посредством определения более высокого доверительного параметра и выбора соответствующего стимула. В качестве другого примера, определение для группы перемещений может быть основано на определении стимула перемещения, соответствующего наибольшей интересующей области.

Компонент 208 состояния робота обеспечивает возможность запоминания информации о текущем состоянии робота. Сначала, робот находится в неактивном состоянии и не осуществляет никакой деятельности. Всегда, когда робот начинает деятельность, компонент состояния робота собирает данные о текущих условиях, ситуации и контексте. Условия состояния робота в момент времени, когда выбранный стимул обрабатывается, запускают конкретный сценарий, подлежащий выполнению компонентом 210 обработки стимула и показанный в качестве примера ниже со ссылкой на фиг. 4а-4с.

Компонент 212 активизации поведения обеспечивает возможность управления физическими действиями робота для обеспечения, например:

- перемещения посредством активизации двигателей сочленений или основания робота;

- отслеживания для следования перемещению человека, находящегося в среде робота, для установления и поддержания зрительного контакта с человеком;

- включения светодиодов робота для передачи эмоций;

- динамической речи и комбинаций речи и жестов.

Вариантами поведения робота являются комбинации перемещений, слов, включений освещения, которые могут выражать эмоции робота и обеспечивать выполнение роботом сложных действий.

Как упомянуто выше, предпочтительно, настоящее изобретение обеспечивает возможность представления человекоподобного робота более интерактивным и активным, посредством модуляции положений робота, обращенных к говорящему человеку, для генерации большего интереса и убедительности во время диалога. Дополнительно, настоящее изобретение обеспечивает возможность сохранения порогового безопасного расстояния и ориентации робота для обеспечения безопасности человека. Настоящее изобретение повышает качество взаимодействия человек/человекоподобный робот и решает проблемы безопасности, возникающие между пользователем и роботом, находящимися в тесном взаимодействии, посредством обеспечения позиционирования в режиме реального времени и сохранения доверительного расстояния и направления между ними.

Для достижения этих целей, компонент 212 активизации поведения робота связан с компонентом 214 положения робота для обеспечения сервоуправления положением робота согласно перемещениям человека. Предпочтительно, человекоподобный робот способен не только следовать за перемещениями человека, но и способен принимать человеческие позы и положения, которые вызывают интерес и эмоции у человека, при сохранении в режиме реального времени безопасного расстояния и ориентации между роботом и человеком.

Компонент 214 положения робота вычисляет, в режиме реального времени, параметры положения (x,y) и ориентации (wz) человеческого тела (включая туловище и линию плеч) при взаимодействии с роботом. Компонент положения робота использует приобретение двумерных и трехмерных изображений относительно начала координат осей робота для получения ориентированного в трехмерном пространстве «двоичного объекта человека», представляющего человека, который находится во взаимодействии с роботом. Человекоподобный робот оперативно настраивает его/ее положение в режиме реального времени согласно перемещениям двоичного объекта, обеспечивая выбранное расстояние и ориентацию, которые соблюдаются с предохраняющими человека доверительными интервалами для ограничения колебаний. Доверительный интервал является порогом по амплитуде отслеживаемых перемещений, ниже которого робот может не перемещаться. Таким образом, робот будет следовать только за теми перемещениями, которые являются большими, чем пороговое значение. Обычно, порог 20 см определяют для перемещения основания робота, что означает, что человек должен переместиться по меньшей мере на 20 см для обеспечения того, чтобы робот также переместился.

Дополнительно, значения расстояния и/или ориентации и/или доверительные интервалы этих значений периодически обновляют для вынуждения робота изменять его положение в пространстве по отношению к человеку. Эти значения могут быть модифицированы либо случайным образом, либо относительно контекста текущего взаимодействия. Например, при диалоговой деятельности, посредством использования синтаксического анализа контекста диалога, эти значения адаптируют, что гарантирует, таким образом, естественные перемещения, связанные с контекстом диалога. Таким образом, человекоподобного робота регулярно приводят в движение либо в режиме функционирования с сервоуправлением в соответствии с перемещением человека, либо в вынужденном режиме, посредством изменения значений его относительного положения.

В предпочтительной реализации, принимаемые по умолчанию значения расстояния и ориентации робота при начале взаимодействия варьируются в диапазоне -65см +/- 10см вдоль оси X, 0см +/- 10см вдоль оси Y, и 0° +/- 10° Wz. Например, при использовании этих значений, при начале взаимодействия, человекоподобный робот может быть на расстоянии 62см перед человеком при угле 7° его тела относительно человека.

Еще в одном предпочтительном варианте осуществления, принимаемая по умолчанию частота изменения X-положения и/или Y-положения и/или Wz-ориентации и/или доверительных интервалов, может быть установлена равной 0,1 Гц или 0,2 Гц. По умолчанию, значение расстояния вдоль оси X может изменяться от -100см до -40см, +/-10см; значение расстояния вдоль оси Y может изменяться от -45см до +45см, +/-10см; значение ориентации может изменяться от -45° до +45° +/-10°; доверительные интервалы могут изменяться от 0,1см до 30см для расстояния, и от 0,1° до 30° для угла ориентации.

Специалисты в данной области техники могут легко разработать любые другие принимаемые по умолчанию значения, в зависимости от размеров человекоподобного робота.

Предпочтительно, режим функционирования с сервоуправлением человекоподобным роботом, посредством регулярной и непрерывной настройки положения робота относительно перемещений человека, обеспечивает возможность модуляции перемещений робота даже в непредсказуемом контексте.

Со ссылкой на фиг. 3, теперь будет описана подробная блок-схема компонента 202 обнаружения событий фиг. 2. Компонент 202 обнаружения событий содержит множество детекторов (302, 304, 306, 308, 310), обеспечивающих возможность обнаружения внешних событий в среде человекоподобного робота. Множество детекторов может быть снабжено датчиками, такими как камера, микрофон, тактильные и обонятельные датчики, например, для приема и восприятия изображений, звука, запаха, вкуса и т.д. Показания датчиков предварительно обрабатывают для извлечения уместных данных в отношении положения робота, идентификации объектов/ людей в его среде, расстояния до упомянутых объектов/ людей, слов, произнесенных людьми, или их эмоций.

Детектор 302 восприятия людей обеспечивает возможность обнаружения человека с использованием информации, обеспеченной трехмерной камерой 30 и/или двумерной камерой 32. Во время работы, изображение глубины, обеспеченное трехмерной камерой, обрабатывают для извлечения разных объектов в сцене. Результирующие объекты анализируют через последовательность фильтров для определения того, могут они или нет быть человеческими обликами. Предпочтительно, фильтры основаны на грубых геометрических характеристиках, таких как ширина и высота, или на том факте, что голова может быть отличена от тела, и т.д. Двумерную камеру (32) используют для выполнения обнаружения лиц на извлеченном объекте с использованием RGB-изображения. Выходные данные как двумерной, так и трехмерной камеры объединяют (34) в модуле слияния и обрабатывают (36) для определения того, является ли объект, извлеченный из изображения глубины, человеческим обликом. В предпочтительном варианте осуществления, фильтр Калмана используют для обработки выходных данных обеих камер. Когда достоверно обнаружено, что объект является человеком, этот объект добавляют в базу достоверных обнаружений, которые будут отслеживаться через некоторое время. Детектор восприятия людей генерирует стимулы восприятия людей, подлежащие запоминанию в группе стимулов восприятия людей в базе 204 данных стимулов.

Детектор 304 звуков обеспечивает возможность обнаружения звука около робота с использованием микрофонов, способных воспринимать звуки в его среде. После обнаружения звука, собирают подробную информацию о звуке, включающую в себя, например, уровень энергии, локализацию источника звука для обеспечения доверительного параметра в отношении точности локализации звука. Детектор звуков генерирует звуковые стимулы, подлежащие запоминанию в группе звуковых стимулов в базе 204 данных стимулов.

Тактильный детектор 306 обеспечивает возможность обнаружения удара или касания на поверхности робота с использованием тактильных датчиков. После обнаружения удара, собирают подробную информацию о природе удара. Тактильный детектор генерирует тактильные стимулы, подлежащие запоминанию в группе тактильных стимулов в базе 204 данных стимулов.

Детектор 308 перемещений обеспечивает возможность обнаружения перемещений около робота с использованием трехмерной камеры. После обнаружения перемещающегося объекта, собирают подробную информацию, включающую в себя, например, положение относительно робота, размер, и т.д. Детектор перемещений генерирует стимулы перемещения, подлежащие запоминанию в группе стимулов перемещения в базе 204 данных стимулов.

Компонент 202 обнаружения событий может содержать различные дополнительные детекторы 310 для восприятия множества событий, например, для анализа направления взгляда, лицевых характеристик (возраста, оценки половой принадлежности, «степени улыбки», положения головы, выражения лица и т.д.).

В результате, когда событие обнаружено, каждый детектор может выдать «соответствующий типу детектора» стимул с указанием на положение, из которого поступает стимул, и соответствующий стимул запоминают в соответствующей группе стимулов в базе 204 данных стимулов. Указание на положение события может быть положением, определяемым координатами (x,y,z) или может быть по меньшей мере аппроксимированным направлением на положение события с информацией об угловых координатах (тета/фи).

В предпочтительном варианте осуществления с использованием NAOqi™ OS, компонент 202 обнаружения событий является частью «Услуг средства извлечения» используемых для приема входных показаний от датчиков робота того типа, который описан в связи с фиг. 1. Некоторыми примерами Услуг средства извлечения являются: Восприятие людей, для восприятия присутствия людей вблизи робота, Обнаружение перемещения, для обнаружения перемещений этих людей, Локализация звука, для локализации звука, Обнаружение касаний, для интерпретирования касания на тактильном датчике робота, Распознавание речи, Распознавание эмоций, для идентификации эмоции, выражаемой человеком вблизи робота посредством его слов или жестов.

Фиг. 4а-4с показывают некоторые блок-схемы последовательностей операций, иллюстрирующие основные этапы различных сценариев взаимодействия, согласно разным состояниям робота.

Как упомянуто выше, сначала робот находится в неактивном состоянии. Когда он начинает отслеживать человека, говорят, что робот «контактирует» или находится в «ситуации контакта или режиме контакта» с найденным человеком - контактирующим человеком - которого он начал отслеживать. Предпочтительно, робота поддерживают в визуально активном состоянии, даже когда никакие стимулы не воспринимаются, посредством обеспечения возможности осуществления малых перемещений элементов робота, подобных дыханию, или возможности воспроизведения динамических включений светодиодов или звуков для демонстрации его/ее доступности для предстоящего взаимодействия.

Робот может прервать контакт посредством установления контакта с кем-либо еще, в зависимости от обработки стимула, или когда текущий контактирующий человек потерян. Робот может прервать его/ее текущий контакт, если обработка стимула приводит к обнаружению человека, при обработке человеческого стимула или нечеловеческого стимула в сочетании с Индуцированным человеком псевдостимулом.

В контексте настоящего изобретения, определены три режима контакта:

- режим «полного контакта»: когда робот является «полностью контактирующим», он прекращает перехват любых событий стимулов до тех пор, пока текущий контактирующий человек не будет потерян;

- режим «неконтакта»: робот может прервать текущую ситуацию контакта при обнаружении стимула;

- режим «частичного контакта»: робот все еще перехватывает стимулы, но не будет переключаться на другого человека. Если стимул перехвачен в этом режиме частичного контакта, то робот может даже просмотреть этот стимул, но всегда будет считать этот стимул недействительным и будет опять по-прежнему отслеживать контактирующего человека.

Фиг. 4а-4с показывают основные этапы обработки взаимодействия человек/человекоподобный робот, согласно разным режимам контакта. На этапе 402 инициализации, робот не отслеживает человека. Через некоторое время, робот может перейти в один из трех режимов контакта. На фиг. 4а описан режим неконтакта, и отличия от общих этапов для режимов полного контакта и частичного контакта обозначены следующим образом: «перейти на фиг. 4b или 4c», соответственно.

Этот процесс обеспечивает возможность определения на этапе 404 контента хранилища стимулов. Если хранилище является пустым (ветвь Да), то процесс обеспечивает роботу возможность ожидания первого стимула, обнаруживаемого на этапе 408, для продолжения процесса, иначе, если хранилище не является пустым (ветвь Нет), то процесс обеспечивает возможность перехода на этап 406 выбора наилучшего стимула среди стимулов в хранилище.

В зависимости от типа стимулов, выбранных либо из контента хранилища напрямую, либо из контента хранилища и из обнаруженного нового стимула, запускаются разные сценарии 410, в зависимости от текущего режима контакта робота.

Если выбран 410-1 Человеческий стимул, то процесс обеспечивает возможность определения текущего режима контакта робота:

- При нахождении в режиме неконтакта (фиг. 4а), означающем, что робот может быть отвлечен событием и может прервать свою текущую деятельность, процесс обеспечивает возможность входа в подпрограмму 412 наблюдения за положением человека. Подпрограмма наблюдения за положением человека обеспечивает возможность определения того, отслеживает ли уже робот человека или нет. Если да, то процесс обеспечивает возможность прекращения текущего отслеживания, просмотра положения нового человека посредством активизации перемещения головы и начала отслеживания 413 обнаруженного нового человека. Когда робот переходит в режим отслеживания, процесс, тогда, переходит с зацикливанием обратно к этапу 404, и, параллельно, запускается подпрограмма, которая обеспечивает возможность регулярной проверки 415 того, присутствует ли еще отслеживаемый в данный момент человек в среде робота. Если обнаружено, что этот человек больше там не находится и исчез, то подпрограмма отслеживания останавливается и Переустанавливающий голову стимул добавляется в хранилище стимулов.

- При нахождении в режиме полного контакта (фиг. 4b), означающем, что робот не может быть отвлечен никаким событием, процесс обеспечивает возможность определения 510 того, отслеживает ли уже робот человека или нет. Если да, то процесс возвращается обратно к этапу 404, иначе процесс продолжается этапом 412 с подпрограммой наблюдения за положением человека.

После выполнения подпрограммы 412, процесс обеспечивает возможность определения того, находится ли робот в режиме частичного контакта (фиг. 4с), означающем, что робот может быть отвлечен событием, но может быть привлечен обратно к своей предыдущей деятельности. Если робот уже отслеживает человека 520, то процесс продолжается на этапе 522 запуском Индуцированного человеком псевдостимула для вынуждения робота отслеживать текущего человека, и процесс переходит с зацикливанием обратно к этапу 404. Если робот уже отслеживает человека, то процесс продолжается этапом 413 посредством начала деятельности по отслеживанию обнаруженного нового человека, и процесс продолжается, как описано выше, этапами 415 и 426.

Если выбран 410-2 Нечеловеческий стимул, то процесс обеспечивает возможность определения текущего режима контакта робота:

- Если робот находится в режиме неконтакта (фиг. 4а), то процесс обеспечивает возможность входа в подпрограмму 414 наблюдения положения стимула, что обеспечивает, таким образом, ориентирование датчиков в направлении положения стимула. Подпрограмма наблюдения положения стимула обеспечивает возможность определения того, отслеживает ли уже робот человека или нет. Если да, то процесс обеспечивает возможность прекращения текущего отслеживания. Если нет, то процесс обеспечивает возможность использования указания на положение события нечеловеческого стимула посредством активизации перемещения головы для того, чтобы затем определить, найден ли человек в области около положения события.

- Если робот находится в режиме полного контакта (фиг. 4b), то процесс обеспечивает возможность определения 510 того, отслеживает ли уже робот человека или нет. Если да, то процесс переходит обратно к этапу 404, иначе процесс продолжается этапом 414 с подпрограммой наблюдения положения стимула.

После выполнения подпрограммы 414, процесс обеспечивает возможность определения того, находится ли робот в режиме частичного контакта (фиг. 4с). Если робот уже отслеживает человека 520, то процесс продолжается на этапе 522 запуском Индуцированного человеком псевдостимула для вынуждения робота отслеживать текущего человека, и процесс переходит с зацикливанием обратно к этапу 404. Если робот еще не отслеживает человека, то процесс продолжается этапом 417 посредством входа в подпрограмму проверки наличия человека в его среде.

Если человек найден 420, то процесс продолжается на этапе 422 запуском Индуцированного человеком псевдостимула для вынуждения робота отслеживать найденного нового человека, и Индуцированный человеком псевдостимул обновляют в хранилище стимулов с использованием данных вновь найденного человека. Затем, процесс переходит с зацикливанием обратно к этапу 404.

Если человек не найден на этапе 420, то процесс продолжается на этапе 424 определением того, занимался ли робот ранее деятельностью по отслеживанию. Если да, то процесс продолжается на этапе 425 запуском Индуцированного человеком псевдостимула для вынуждения робота отслеживать последнего человека, который ранее отслеживался. Индуцированные человеком псевдостимулы добавляют в хранилище стимулов с использованием данных последнего отслеженного человека. Если робот ранее не занимался деятельностью по отслеживанию, то процесс продолжается этапом 426 для запоминания Переустанавливающего голову псевдостимула в хранилище стимулов и переходит с зацикливанием обратно к этапу 404.

Альтернативно, псевдостимулы (410-3, 410-4) могут быть выбраны и обработаны для генерации действия робота.

Когда выбран Индуцированный человеком стимул 410-3, робот вынужден войти в подпрограмму 412 наблюдения за положением человека. Подпрограмма наблюдения за положением человека обеспечивает возможность определения того, отслеживает ли уже робот человека или нет. Если да, то процесс обеспечивает возможность прекращения текущего отслеживания, просмотра положения нового человека посредством активизации перемещения головы и начала новой деятельности 413 по отслеживанию обнаруженного нового человека. Если робот еще не отслеживает человека, то процесс обеспечивает роботу возможность наблюдения в направлении стимула и начала подпрограммы 413 отслеживания, как описано выше.

Когда выбран Переустанавливающий голову стимул 410-4, робот вынужден войти в подпрограмму 416 «Попытка переустановки головы», которая обеспечивает роботу возможность ожидания в течение некоторого времени, и, через некоторое время, если голова не перемещается и никакие стимулы не обработаны, то эта подпрограмма обеспечивает голове робота возможность переустановки в принимаемое по умолчанию положение. Процесс переходит с зацикливанием обратно к этапу 404.

Как описано выше, настоящее изобретение реализует информированное средство отслеживания внутри робота для обеспечения возможности более тесного взаимодействия с человеком.

Специалистам в данной области техники следует понимать, что данный вариант осуществления представлен с целью иллюстрации и описания и не претендует на исчерпывающий характер, а также не предназначен для ограничения настоящего изобретения раскрытой формой. Многие модификации и варианты будут очевидны специалистам в данной области техники. Данный вариант осуществления был выбран и описан для наилучшего разъяснения принципов настоящего изобретения, практического применения, а также для обеспечения специалистам в данной области техники возможности понимания настоящего изобретения для различных вариантов осуществления с различными модификациями, подходящими для предполагаемого конкретного применения.

Следует понимать, что хотя настоящее изобретение было конкретно показано и описано со ссылкой на предпочтительный вариант осуществления, различные изменения в форме и деталях могут быть выполнены, не выходя за рамки сущности и объема настоящего изобретения. Конкретно, настоящее изобретение хорошо подходит и легко применимо специалистами в данной области техники к роботам любых форм и размеров, которые допускают взаимодействие с человеком.

Настоящее изобретение может принимать форму компьютерного программного продукта, доступного из используемой компьютерами или компьютерно-читаемой среды, обеспечивающего программный код, используемый компьютером или любой системой исполнения команд или связанный с ними. Для целей этого описания, используемая компьютерами или компьютерно-читаемая среда может быть любым материальным устройством, которое может содержать, запоминать, передавать, распространять или транспортировать программу, используемую системой, аппаратом или устройством для исполнения команд, или связанную с ними. Эта среда может быть электронной, магнитной, оптической, электромагнитной, инфракрасной или полупроводниковой системой (или аппаратом или устройством) или средой распространения. Примеры компьютерно-читаемой среды включают в себя полупроводниковую или твердотельную память, магнитную ленту, съемную компьютерную дискету, память с произвольным доступом (RAM), постоянное запоминающее устройство (ROM), жесткий магнитный диск и оптический диск. Текущие примеры оптических дисков включают в себя компакт-диск - постоянное запоминающее устройство (CD-ROM), компакт-диск для считывания/записи (CD-R/W) и DVD.

1. Способ управления взаимодействием человекоподобного робота с человеком, реализуемый в человекоподобном роботе, включающий этапы, на которых:

- обнаруживают из множества датчиков все события в окружении человекоподобного робота;

- обрабатывают каждое обнаруженное событие для запоминания события в хранилище стимулов в качестве временного стимула по меньшей мере с указанием положения события, причем временные стимулы группируются в хранилище стимулов согласно их типу, причем хранилище стимулов дополнительно запоминает постоянные стимулы, не обнаруженные посредством множества датчиков;

- обнаруживают, что человекоподобный робот входит в режим контакта, представляющий отношение отслеживания человекоподобного робота с человеком, причем текущий режим контакта является одним из режима полного контакта, режима частичного контакта и режима отсутствия контакта;

- при обнаружении нового события посредством одного из множества датчиков обрабатывают событие для определения того, исходит ли стимул от человека;

- если нет, то сохраняют человекоподобного робота в текущем режиме контакта, в ином случае:

- выбирают либо обнаруженный стимул, исходящий от человека, либо один временный или постоянный стимул, сохраненный в хранилище стимулов, в зависимости от текущего режима контакта человекоподобного робота и от правил применимости;

- обрабатывают упомянутый выбранный стимул посредством запуска подпрограммы программного обеспечения конкретного сценария, причем подпрограмма программного обеспечения зависит от текущего режима контакта человекоподобного робота и от текущей деятельности упомянутого человекоподобного робота; и

- в качестве реакции на этап обработки обновляют режим контакта человекоподобного робота посредством сохранения текущего режима контакта или входа в новый режим контакта; и

- генерируют одно или более действий человекоподобного робота в зависимости от обновленного режима контакта.

2. Способ по п. 1, в котором события, обнаруживаемые множеством датчиков, являются одним или несколькими из обнаружения перемещения, тактильного восприятия, локализации звука, обнаружения лиц, визуального восприятия, распознавания изображений.

3. Способ по п. 1 или 2, в котором временные стимулы сгруппированы согласно типу обнаруженного события по меньшей мере в группе стимулов перемещения, группе звуковых стимулов, группе сенсорных стимулов, группе человеческих стимулов.

4. Способ по п. 3, в котором правила применимости используют приоритетные критерии между временными стимулами и постоянными стимулами.

5. Способ по п. 1 или 2, в котором этап, на котором определяют, исходит ли новое событие от человека, состоит в использовании информации, обеспечиваемой двумерной камерой и/или трехмерной камерой.

6. Способ по п. 1 или 2, причем в режиме полного контакта человекоподобный робот прекращает перехват любых событий до тех пор, пока текущий контактирующий человек не будет потерян, что означает, что робот не может быть отвлечен никаким событием.

7. Способ по п. 1 или 2, причем в режиме отсутствия контакта человекоподобный робот может быть отвлечен событием и может прервать свою текущую деятельность.

8. Способ по п. 1 или 2, причем в режиме частичного контакта человекоподобный робот может быть отвлечен событием, но может быть привлечен обратно к своей предыдущей деятельности.

9. Способ по п. 1 или 2, в котором этап, на котором запускают подпрограмму программного обеспечения, дополнительно содержит этап использования указания на положение события, соответствующего выбранному стимулу, для определения того, найден ли новый человек в области около направления стимула.

10. Способ по п. 1 или 2, в котором одно или несколько физических действий человекоподобного робота содержат по меньшей мере активизацию элементов робота.

11. Способ по п. 10, в котором одна из активизаций состоит в ориентировании датчиков в направлении положения обнаруженного стимула.

12. Способ по п. 9, дополнительно содержащий этап обновления хранилища стимулов с использованием информации о положении найденного нового человека.

13. Способ по п. 1 или 2, дополнительно содержащий этап поддержания человекоподобного робота в визуально активном состоянии, даже когда никакие стимулы не воспринимаются, посредством обеспечения возможности малых перемещений элементов робота, подобных дыханию, или использования светодиодов, или воспроизведения звуков.

14. Система для управления взаимодействием человекоподобного робота с человеком, причем система функционирует под управлением операционной системы и содержит по меньшей мере один процессор для реализации этапов способа по любому из пп. 1-13.

15. Компьютерно-читаемый носитель данных, содержащий программный код, сохраненный на нем и выполненный с возможностью, при исполнении, предписывать по меньшей мере одному процессору выполнять этапы способа по любому из пп. 1-13.