Устройство поддержки отслеживания, система поддержки отслеживания и способ поддержки отслеживания

Изобретение относится к системе отслеживания движущегося объекта в реальном времени каждой из множества камер. Техническим результатом является уменьшение рабочей нагрузки наблюдателя без ограничения количества и расположения камер, а также без потери из виду отслеживаемого объекта. Предложено устройство поддержки отслеживания, содержащее: модуль (24) установки цели отслеживания, который устанавливает движущийся объект, подлежащий отслеживанию на видео с камеры (1); модуль (25) поиска камеры, который выполняет поиск текущей следящей камеры, в текущее время формирующей изображение движущегося объекта, подлежащего отслеживанию; модуль (26) предсказания камеры, который предсказывает следующую камеру, затем формирующую изображение движущегося объекта, подлежащего отслеживанию; модуль (27) представления положения камеры, который отображает карту области контроля, указывающую положение текущей следящей камеры; и модуль (28) представления видео камеры, который отображает видео в реальном времени с каждой камеры и выделяет каждое видео в реальном времени текущей следящей камеры и следующей камеры. Модуль представления положения камеры и модуль представления видеокамеры отображают карту области контроля и видео в реальном времени с камеры в различных окнах отображения. 3 н. и 7 з.п. ф-лы, 18 ил.

 

ОБЛАСТЬ ТЕХНИКИ

[0001] Настоящее раскрытие относится к устройству поддержки отслеживания, системе поддержки отслеживания и способу поддержки отслеживания, которые поддерживают работу контролирующего лица (наблюдателя), отслеживающего движущийся объект, подлежащий отслеживанию, путем отображения видео в реальном времени каждой из множества камер, формирующих изображение области контроля на устройстве отображения.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

[0002] Система контроля, в которой множество камер расположено в области контроля, экран контроля, одновременно отображающий видео в реальном времени каждой из множества камер, отображается на мониторе, и наблюдатель контролирует экраны, получила широкое распространение. В такой системе контроля, при обнаружении подозрительного лица на экране контроля, наблюдатель отслеживает подозрительное лицо, просматривая видео с каждой камеры на экране контроля, чтобы контролировать будущее движение указанного лица.

[0003] В случае, когда наблюдатель отслеживает подозрительное лицо, просматривая видео в реальном времени с каждой из множества камер на экране контроля, необходимо найти следующую камеру для последующего формирования изображения (съемки) лица на основе направления продвижения контролируемого лица. Однако когда требуется время, чтобы найти следующую камеру, контролируемое лицо может быть упущено из виду. Предпочтительно иметь конфигурацию, способную уменьшать рабочую нагрузку наблюдателя, который отыскивает такую следующую камеру, и обеспечивать плавное отслеживание указанного лица.

[0004] В отношении такой потребности, в предшествующем уровне техники, известен метод, состоящий в том, что экран контроля, на котором множество отображаемых видов, соответственно отображающих видео с каждой из множества камер на изображении карты, указывающем область контроля, расположено соответственно фактическому состоянию расположения камер, отображается на устройстве отображения, отображаемый вид, на котором затем отображается движущийся объект, установленный в качестве цели отслеживания, предсказывается на основе информации слежения, и отображаемый вид представляется на экране контроля (см. PTL 1).

Список цитированных документов

Патентные документы

[0005] Патентный документ 1: Патент Японии № 5506989

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0006] В предшествующем уровне техники, поскольку отображаемый вид каждой из множества камер отображается на изображении карты, соответствующей фактическому состоянию расположения камер, можно отслеживать лицо с помощью видео с камеры при восприятии позиционного соотношения камер. Соответственно, обеспечивается простота использования и заметное снижение нагрузки наблюдателя, выполняющего работу отслеживания.

[0007] Однако, в предшествующем уровне техники, может быть затруднительным удовлетворять то, чтобы, в зависимости от количества камер и состояния расположения камер, отображалось видео с соответствующим размером на отображаемом виде, и отображался отображаемый вид так, чтобы можно было идентифицировать позиционное соотношение между камерами. То есть, по мере увеличения количества камер, количество отображаемых видов увеличивается. В этом случае, когда видео с соответствующим размером отображается на отображаемом виде, изображение карты будет скрыто в большом количестве отображаемых видов, и отображаемые виды невозможно будет упорядочить так, чтобы соответствовать фактическому состоянию расположения камер. Следовательно, существует проблема, состоящая в том, что невозможно в достаточной степени воспринимать позиционное соотношение камер.

[0008] Настоящее раскрытие было разработано для решения таких проблем предшествующего уровня техники. Основной целью настоящего раскрытия является обеспечение устройства поддержки отслеживания, системы поддержки отслеживания и способа поддержки отслеживания, которые сконфигурированы таким образом, чтобы уменьшить рабочую нагрузку наблюдателя, отслеживающего человека (контролируемое лицо) при просмотре видео с каждой камеры, без ограничения количеством камер и состояниям расположения камер, и продолжать отслеживание, не теряя из виду лицо, подлежащее отслеживанию.

[0009] Устройство поддержки отслеживания в соответствии с настоящим раскрытием сконфигурировано, чтобы поддерживать работу наблюдателя, который отслеживает движущийся объект, подлежащий отслеживанию, путем отображения видео в реальном времени каждой из множества камер, формирующих изображение области контроля на устройстве отображения. Устройство включает в себя: блок установки цели отслеживания, который устанавливает движущийся объект, подлежащий отслеживанию, в ответ на операцию ввода наблюдателя для отображения видео с камеры на устройстве отображения и для задания движущегося объекта, подлежащего отслеживанию, на видео; блок поиска камеры, который выполняет поиск текущей следящей камеры, в текущее время формирующей изображение движущегося объекта, подлежащего отслеживанию, на основе информации слежения, полученной обработкой слежения по отношению к видео с камеры; блок предсказания камеры, который предсказывает следующую камеру, затем формирующую изображение движущегося объекта, подлежащего отслеживанию, на основе информации слежения; блок представления положения камеры, который отображает карту области контроля, указывающую положение текущей следящей камеры, на устройстве отображения; и блок представления видео камеры, который отображает видео в реальном времени для каждой из множества камер и выделяет (подсвечивает) каждое видео в реальном времени текущей следящей камеры и следующей камеры идентифицируемым образом, чтобы отличаться от видео в реальном времени с других камер. Блок представления положения камеры и блок представления видео камеры отображают карту области контроля и видео в реальном времени с камеры в различных окнах отображения устройства отображения и обновляют положение текущей следящей камеры на карте области контроля и каждое выделенное видео в реальном времени текущей следящей камеры и следующей камеры в соответствии с переключением текущей следящей камеры.

[0010] Система поддержки отслеживания в соответствии с настоящим раскрытием сконфигурирована, чтобы поддерживать работу наблюдателя, отслеживающего движущийся объект, подлежащий отслеживанию, путем отображения видео в реальном времени с каждой из множества камер, формирующих изображение области контроля, на устройстве отображения. Система включает в себя камеру для формирования изображения области контроля, устройство отображения для отображения видео с каждой камеры и множество устройств обработки информации. Любое из множества устройств обработки информации включает в себя блок установки цели отслеживания, который устанавливает движущийся объект, подлежащий отслеживанию, в ответ на операцию ввода наблюдателя, для отображения видео с камеры на устройстве отображения и для задания движущегося объекта, подлежащего отслеживанию на видео, блок поиска камеры, который выполняет поиск текущей следящей камеры, в текущее время формирующей изображение движущегося объекта, подлежащего отслеживанию, на основе информации слежения, полученной обработкой слежения по отношению к видео с камеры; блок предсказания камеры, который предсказывает следующую камеру, которая затем будет формировать изображение движущегося объекта, подлежащего отслеживанию, на основе информации слежения; блок представления положения камеры, который отображает карту области контроля, указывающую положение текущей следящей камеры на устройстве отображения; и блок представления видео камеры, который отображает видео в реальном времени для каждой из множества камер и выделяет каждое видео в реальном времени текущей следящей камеры и следующей камеры идентифицируемым образом, чтобы отличаться от видео в реальном времени с других камер. Блок представления положения камеры и блок представления видео камеры отображают карту области контроля и видео в реальном времени с камеры в разных окнах отображения на устройстве отображения и обновляют положение текущей следящей камеры на карте области контроля и каждое выделенное видео в реальном времени текущей следящей камеры и следующей камеры в соответствии с переключением текущей следящей камеры.

[0011] Способ поддержки отслеживания согласно настоящему раскрытию сконфигурирован, чтобы побуждать устройство обработки информации выполнять обработку для поддержки работы наблюдателя, отслеживающего движущийся объект, подлежащий отслеживанию, путем отображения видео в реальном времени с каждой из множества камер, формирующих изображение области контроля на устройстве отображения. Способ включает в себя: этап установки движущегося объекта, подлежащего отслеживанию, в ответ на операцию ввода наблюдателя, для отображения видео с камеры на устройстве отображения и для задания движущегося объекта, подлежащего отслеживанию на видео; этап поиска текущей следящей камеры, в текущее время формирующей изображение движущегося объекта, подлежащего отслеживанию, на основе информации слежения, полученной обработкой слежения по отношению к видео с камеры; этап предсказания следующей камеры, которая будет затем формировать изображение движущегося объекта, подлежащего отслеживанию, на основе информации слежения; этап отображения карты области контроля, указывающей положение текущей следящей камеры на устройстве отображения; и этап отображения видео в реальном времени для каждой из множества камер и выделения каждого видео в реальном времени с текущей следящей камеры и следующей камеры идентифицируемым образом, чтобы отличаться от видео в реальном времени с других камер. На каждом этапе отображения карты области контроля и видео в реальном времени с камеры на устройстве отображения, карта области контроля и видео в реальном времени с камеры отображаются на устройстве отображения в разных окнах отображения, и положение текущей следящей камеры на карте области контроля и каждое выделенное видео в реальном времени с текущей следящей камеры и следующей камеры обновляются в соответствии с переключением текущей следящей камеры.

[0012] Согласно настоящему раскрытию, поскольку видео с текущей следящей камеры, в котором отображается движущийся объект, подлежащий отслеживанию, и видео со следующей камеры, в которой, как предсказано, будет затем отображаться движущийся объект, подлежащий отслеживанию, выделены, и карта области контроля и видео с камеры отображаются на устройстве отображения в разных окнах отображения, можно существенно снизить нагрузку наблюдателя, выполняющего работу отслеживания, без ограничения количеством камер и состоянием расположения камер, и продолжать отслеживание, не теряя из виду движущийся объект, подлежащий отслеживанию.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0013] Фиг. 1 - общая схема конфигурации системы поддержки отслеживания согласно первому варианту осуществления.

Фиг. 2 - вид сверху, иллюстрирующий состояние установки камеры 1 в магазине.

Фиг. 3 - функциональная блок-схема, иллюстрирующая схематичную конфигурацию РС 3.

Фиг. 4 - пояснительная диаграмма, иллюстрирующая состояние перехода экранов, отображаемых на мониторе 7.

Фиг. 5 - блок-схема последовательности операций, иллюстрирующая процедуру обработки, выполняемую в каждом блоке РС 3 в ответ на операцию наблюдателя, выполняемую на каждом экране.

Фиг. 6 - пояснительная диаграмма, иллюстрирующая экран поиска лица, отображаемый на мониторе 7.

Фиг. 7 - пояснительная диаграмма, иллюстрирующая экран поиска лица, отображаемый на мониторе 7.

Фиг. 8 - пояснительная диаграмма, иллюстрирующая экран выбора камеры, отображаемый на мониторе 7.

Фиг. 9 - пояснительная диаграмма, иллюстрирующая экран карты области контроля, отображаемый на мониторе 7.

Фиг. 10 - пояснительная диаграмма, иллюстрирующая экран отображения списка видео, отображаемый на мониторе 7.

Фиг. 11 - пояснительная диаграмма, иллюстрирующая экран отображения списка видео, отображаемый на мониторе 7.

Фиг. 12 - пояснительная диаграмма, иллюстрирующая экран увеличенного отображения видео, отображаемый на мониторе 7.

Фиг. 13 - пояснительная диаграмма, иллюстрирующая состояние перехода экранов, отображаемых на мониторе 7, согласно второму варианту осуществления.

Фиг. 14 - пояснительная диаграмма, иллюстрирующая экран поиска лица, отображаемый на мониторе 7.

Фиг. 15 - пояснительная диаграмма, иллюстрирующая экран поиска лица, отображаемый на мониторе 7.

Фиг. 16 - пояснительная диаграмма, иллюстрирующая экран выбора камеры, отображаемый на мониторе 7.

Фиг. 17 - пояснительная диаграмма, иллюстрирующая экран отображения списка видео, отображаемый на мониторе 7.

Фиг. 18 - пояснительная диаграмма, иллюстрирующая экран отображения списка видео, отображаемый на мониторе 7.

ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0014] Первое раскрытие, созданное для решения вышеуказанных проблем, сконфигурировано таким образом, что устройство поддержки отслеживания поддерживает работу наблюдателя, отслеживающего движущийся объект, подлежащий отслеживанию, путем отображения видео в реальном времени с каждой из множества камер, формирующих изображение области контроля на устройстве отображения. Устройство включает в себя: блок установки цели отслеживания, который устанавливает движущийся объект, подлежащий отслеживанию, в ответ на операцию ввода наблюдателя для отображения видео с камеры на устройстве отображения и для задания движущегося объекта, подлежащего отслеживанию на видео; блок поиска камеры, который выполняет поиск текущей следящей камеры, в текущее время формирующей изображение движущегося объекта, подлежащего отслеживанию, на основе информации слежения, полученной обработкой слежения по отношению к видео с камеры; блок предсказания камеры, который предсказывает следующую камеру, затем формирующую изображение движущегося объекта, подлежащего отслеживанию, на основе информации слежения; блок представления положения камеры, который отображает карту области контроля, указывающую положение текущей следящей камеры на устройстве отображения; и блок представления видео камеры, который отображает видео в реальном времени для каждой из множества камер на устройстве отображения и выделяет каждое видео в реальном времени текущей следящей камеры и следующей камеры идентифицируемым образом, чтобы отличаться от видео в реальном времени с других камер. Блок представления положения камеры и блок представления видео камеры отображают карту области контроля и видео в реальном времени с камеры в различных окнах отображения на устройстве отображения и обновляют положение текущей следящей камеры на карте области контроля и каждое выделенное видео в реальном времени с текущей следящей камеры и следующей камеры в соответствии с переключением текущей следящей камеры.

[0015] Следовательно, поскольку видео с текущей следящей камеры, в котором отображается движущийся объект, подлежащий отслеживанию, и видео со следующей камеры, в которой, как предсказано, будет затем отображаться движущийся объект, подлежащий отслеживанию, выделены, и карта области контроля и видео с камеры отображаются на устройстве отображения в разных окнах отображения, можно существенно снизить нагрузку наблюдателя, выполняющего работу отслеживания, без ограничения количеством камер и состоянием расположения камер, и продолжать отслеживание, не теряя из виду движущийся объект, подлежащий отслеживанию.

[0016] Второе раскрытие сконфигурировано так, что блок установки цели отслеживания устанавливает движущийся объект, подлежащий отслеживанию, на видео, отображаемом в ответ на операцию ввода для задания времени и камеры наблюдателем на экране поиска лица.

[0017] Следовательно, можно найти видео, на котором изображается лицо, подлежащее отслеживанию, из экрана поиска лица, на основе места и времени, в которое лицо, подлежащее отслеживанию, запомненное наблюдателем, было обнаружено.

[0018] Третье раскрытие сконфигурировано, чтобы дополнительно включать блок представления цели отслеживания, который отображает метку, представляющую движущийся объект, обнаруженный из видео с камеры, на видео в реальном времени с камеры на основе информации слежения и выделяет (подсвечивает) метку отслеживаемого лица идентифицируемым образом, чтобы отличаться от меток других лиц, и в случае, если имеется ошибка в выделенной метке, блок установки цели отслеживания побуждает наблюдателя выбрать метку корректного движущегося объекта в качестве цели отслеживания среди видео со всех камер, чтобы изменить движущийся объект, выбранный наблюдателем, на цель отслеживания.

[0019] Следовательно, в случае, когда имеет место ошибка в представлении движущегося объекта как цели отслеживания блоком представления цели отслеживания, путем изменения отслеживаемого объекта, движущийся объект, подлежащий отслеживанию затем надежно отображается в видео с текущей следящей камеры, и можно продолжать отслеживание, не теряя из виду движущийся объект, подлежащее отслеживанию.

[0020] Четвертое раскрытие сконфигурировано, чтобы дополнительно включать в себя блок хранения информации установки, который хранит информацию о степени релевантности, представляющую уровень релевантности между двумя камерами, причем блок представления видео камеры упорядочивает видео с других камер в соответствии со степенью релевантности между текущей следящей камеры и другими камерами на основе видео с текущей следящей камеры на экране устройства отображения, отображающего видео с каждой из множества камер.

[0021] Следовательно, поскольку видео с камер иных, чем текущая следящая камера, упорядочены в соответствии со степенью релевантности на основе видео с текущей следящей камеры, даже в случае потери из виду отслеживаемого движущегося объекта в видео с текущей следящей камеры, можно легко найти видео с камеры, в котором отображается движущийся объект, подлежащий отслеживанию.

[0022] Пятое раскрытие сконфигурировано так, что блок представления видео камеры может увеличивать или уменьшать количество камер для одновременного отображения видео на экране устройства отображения в соответствии с количеством камер, имеющих высокую степень релевантности с текущей следящей камерой.

[0023] Следовательно, поскольку можно увеличить или уменьшить количество камер для одновременного отображения видео на экране устройства отображения (количество отображаемых камер), можно отображать видео с камер посредством необходимого количества камер. В этом случае, наблюдатель может вручную выбрать количество отображаемых камер, как это необходимо, или количество отображаемых камер может переключаться автоматически на основе количества камер, имеющих высокую степень релевантности с текущей следящей камерой, в блоке представления видео камеры.

[0024] Шестое раскрытие сконфигурировано так, что в случае, когда общее количество камер, установленных в области контроля, превышает количество камер для одновременного отображения видео на экране устройства отображения, блок представления видео камеры выбирает камеры, имеющие высокую степень релевантности с текущей следящей камерой, по количеству камер для одновременного отображения и отображает видео с этих камер на экране устройства отображения.

[0025] Следовательно, поскольку движущийся объект, подлежащий отслеживанию, внезапно не перемещается из области формирования изображения текущей следящей камеры к камере, имеющей низкую релевантность с текущей следящей камерой, то есть с областью формирования изображения камеры, находящейся далеко от текущей следящей камеры, можно продолжать отслеживание, не теряя из виду движущийся объект, подлежащий отслеживанию, путем отображения только видео с камер, имеющих высокую степень релевантности с текущей следящей камерой.

[0026] Седьмое раскрытие сконфигурировано так, что блок представления видео камеры отображает видео с камер на экране устройства отображения бок о бок в вертикальном и горизонтальном направлениях и располагает видео с других камер, с видео с текущей следящей камеры в качестве центра, вокруг видео текущей следящей камеры в соответствии с фактическим позиционным соотношением между камерами.

[0027] Следовательно, поскольку видео с текущей следящей камеры расположено в центре, наблюдатель может легко проверять движущийся объект, подлежащий отслеживанию. Поскольку видео с камеры иной, чем текущая следящая камера, расположено вокруг видео с текущей следящей камеры в соответствии с фактическим позиционным соотношением камеры, даже в случае потери из виду отслеживаемого движущегося объекта в видео текущей следящей камеры, можно легко найти видео с камеры, в котором отображается движущийся объект, подлежащий отслеживанию.

[0028] Восьмое раскрытие сконфигурировано так, что, в ответ на операцию ввода наблюдателя для выбора любого одного из видео в реальном времени для каждой камеры, отображаемой на устройстве отображения, блок представления видео камеры отображает видео в реальном времени с камеры в увеличенном виде на устройстве отображения.

[0029] Следовательно, поскольку видео с камеры отображается в увеличенном виде, можно детально наблюдать ситуацию с движущимся объектом, подлежащим отслеживанию.

[0030] Девятое раскрытие сконфигурировано так, что система поддержки отслеживания поддерживает работу наблюдателя, отслеживающего движущийся объект, подлежащий отслеживанию, путем отображения видео в реальном времени каждой из множества камер, формирующих изображение области контроля, на устройстве отображения. Система включает в себя камеру для формирования изображения области наблюдения, устройство отображения для отображения видео с каждой камеры и множество устройств обработки информации. Любое одно из множества устройств обработки информации включает в себя блок установки цели отслеживания, который устанавливает движущийся объект, подлежащий отслеживанию, в ответ на операцию ввода наблюдателя, для отображения видео с камеры на устройстве отображения и для задания движущегося объекта, подлежащего отслеживанию на видео; блок поиска камеры, который выполняет поиск текущей следящей камеры, в текущее время формирующей изображение движущегося объекта, подлежащего отслеживанию, на основе информации слежения, полученной обработкой слежения по отношению к видео с камеры; блок предсказания камеры, который предсказывает следующую камеру, которая затем будет формировать изображение движущегося объекта, подлежащего отслеживанию, на основе информации слежения; блок представления положения камеры, который отображает карту области контроля, указывающую положение текущей следящей камеры на устройстве отображения; и блок представления видео камеры, который отображает видео в реальном времени для каждой из множества камер на устройстве отображения и выделяет каждое видео в реальном времени с текущей следящей камеры и следующей камеры идентифицируемым образом, чтобы отличаться от видео в реальном времени с других камер. Блок представления положения камеры и блок представления видео камеры отображают карту области контроля и видео в реальном времени с камеры в разных окнах отображения на устройстве отображения и обновляют положение текущей следящей камеры на карте области контроля и каждое выделенное видео в реальном времени текущей следящей камеры и следующей камеры в соответствии с переключением текущей следящей камеры.

[0031] Следовательно, аналогично первому раскрытию, можно уменьшить рабочую нагрузку наблюдателя, который отслеживает некоторое лицо путем просмотра видео с каждой из множества камер, без ограничения количеством камер и состоянием расположения камер, и наблюдатель может продолжать отслеживание, не теряя из виду отслеживаемое лицо.

[0032] Десятое раскрытие сконфигурировано так, что способ поддержки отслеживания побуждает устройство обработки информации выполнять обработку для поддержки работы наблюдателя, отслеживающего движущийся объект, подлежащий отслеживанию, путем отображения видео в реальном времени с каждой из множества камер, формирующих изображение области контроля на устройстве отображения. Способ включает в себя: этап установки движущегося объекта, подлежащего отслеживанию, в ответ на операцию ввода наблюдателя для отображения видео с камеры на устройстве отображения и для задания движущегося объекта, подлежащего отслеживанию на видео; этап поиска текущей следящей камеры, в текущее время формирующей изображение движущегося объекта, подлежащего отслеживанию, на основе информации слежения, полученной обработкой слежения по отношению к видео с камеры; этап предсказания следующей камеры, которая будет затем формировать изображение движущегося объекта, подлежащего отслеживанию, на основе информации слежения; этап отображения карты области контроля, указывающей положение текущей следящей камеры на устройстве отображения; и этап отображения видео в реальном времени для каждой из множества камер на устройстве отображения и выделения каждого видео в реальном времени с текущей следящей камеры и следующей камеры идентифицируемым образом, чтобы отличаться от видео в реальном времени с других камер. На каждом этапе отображения карты области контроля и видео в реальном времени с камеры на устройстве отображения, карта области контроля и видео в реальном времени с камеры отображаются на устройстве отображения в разных окнах отображения, и положение текущей следящей камеры на карте области контроля и каждое выделенное видео в реальном времени с текущей следящей камеры и следующей камеры обновляются в соответствии с переключением текущей следящей камеры.

[0033] Следовательно, аналогично первому раскрытию, можно уменьшить рабочую нагрузку наблюдателя, который отслеживает некоторое лицо путем просмотра видео с каждой из множества камер, без ограничения количеством камер и состоянием расположения камер, и наблюдатель может продолжать отслеживание, не теряя из виду отслеживаемое лицо.

[0034] Далее будут описаны примерные варианты осуществления настоящего раскрытия со ссылкой на чертежи. В описании представленных примерных вариантов осуществления, термины ʺотслеживаниеʺ и ʺслежениеʺ со сходным значением используются просто для удобства объяснения. ʺОтслеживаниеʺ используется в основном в случае наличия сильной связи с действием наблюдателя, а ʺслежениеʺ используется в основном в случае наличия сильной связи с обработкой, выполняемой устройством.

[0035] Первый вариант осуществления

Фиг. 1 представляет собой общую конфигурационную схему системы поддержки слежения в соответствии с первым вариантом осуществления. Система поддержки отслеживания сконструирована для розничного магазина, такого как супермаркет и магазин ʺСделай самʺ, и включает в себя камеру 1, рекордер (хранилище изображений) 2, РС (устройство поддержки отслеживания) 3 и устройство 4 внутри-камерной обработки слежения.

[0036] Камера 1 установлена в соответствующем месте в магазине; внутреннее помещение магазина (область контроля) снимается камерой 1, и видео внутреннего помещения магазина, снятое камерой 1, записывается в рекордер 2.

[0037] РС 3 соединен с устройством 6 ввода, таким как мышь, для выполнения различных операций ввода наблюдателем (например, охранником) и монитором (устройством отображения) 7 для отображения экрана контроля. РС 3 установлен в охранном офисе магазина или т.п. Наблюдатель может просматривать на экране контроля, отображаемом на мониторе 7, видео (видео в реальном времени) внутреннего помещения магазина, снятое камерой 1 в реальном времени, и видео внутреннего помещения магазина, снятое раньше, записанное в рекордере 2.

[0038] РС 11, установленный в головном офисе, соединен с монитором (не иллюстрируется). Можно проверять состояние внутреннего помещения магазина в головном офисе путем просмотра видео внутреннего помещения магазина, снятого камерой 1 в реальном времени, и видео внутреннего помещения магазина, снятого ранее и записанного в рекордере 2.

[0039] Устройство 4 внутри-камерной обработки слежения выполняет обработку для слежения за лицом (движущимся объектом), обнаруженным на видео с камеры 1, и генерацию информации внутри-камерного слежения для каждого лица. Для внутри-камерной обработки слежения может быть использован известный метод распознавания образов (такой как метод обнаружения человека и метод отслеживания человека).

[0040] В примерном варианте осуществления, устройство 4 внутри-камерной обработки слежения выполняет внутри-камерную обработку слежения независимо от РС 3, но может выполнять обработку слежения в ответ на инструкцию от РС 3. В устройстве 4 внутри-камерной обработки, предпочтительно выполнять обработку слежения для всех лиц, обнаруженных на видео, но обработка слежения может выполняться только для лица, заданного в качестве цели отслеживания, и лица, имеющего высокий уровень релевантности с заданным лицом.

[0041] Далее будет описано состояние установки камеры 1 в магазине, иллюстрируемом на фиг. 1. Фиг. 2 является видом сверху, иллюстрирующим состояние установки камеры 1 в магазине.

[0042] В магазине (области контроля), между пространствами отображения товара предусмотрены проходы, и множество камер 1 установлено таким образом, чтобы в основном снимать проходы. Когда некоторое лицо движется в проходе в магазине, любая одна из камер 1 или множество камер 1 снимают данное лицо, и в соответствии с движением лица следующая камера 1 выполняет съемку лица.

[0043] Далее будет описана схематичная конфигурация РС 3, показанного на фиг. 1. Фиг. 3 является функциональной блок-схемой, иллюстрирующей схематичную конфигурацию РС 3.

[0044] РС 3 включает в себя хранилище 21 информации слежения, процессор 22 меж-камерного слежения, модуль 23 получения информации ввода, модуль 24 установки цели отслеживания, модуль 25 поиска камеры, модуль 26 предсказания камеры, модуль 27 представления положения камеры, модуль 28 представления видео с камеры, модуль 29 представления цели отслеживания, генератор 30 экрана и модуль 31 хранения информации установки.

[0045] В хранилище 21 информации слежения накапливается информация внутри-камерного слежения, генерируемая устройством 4 внутри-камерной обработки слежения. В хранилище 21 информации слежения накапливается информация внутри-камерного слежения, генерируемая процессором 22 меж-камерного слежения.

[0046] Процессор 22 меж-камерного слежения вычисляет оценку связи (оценочное значение), представляющее степень вероятности представления того же самого лица среди лиц, обнаруженных посредством внутри-камерной обработки слежения на основе информации слежения (информации внутри-камерного слежения), накопленной в хранилище 21 информации слежения. Обработка вычисляет оценку связи, например, на основе времени обнаружения лица (времени формирования изображения (съемки) кадра), положения обнаружения лица, скорости движения лица, информации о цвете изображения лица. Информация об оценке связи, вычисленной процессором 22 меж-камерного слежения, накапливается в хранилище 21 информации слежения в качестве информации меж-камерного слежения.

[0047] Модуль 23 получения информации ввода выполняет обработку для получения информации ввода на основе операции ввода в ответ на операцию ввода наблюдателя с использованием устройства 6 ввода, такого как мышь.

[0048] Модуль 24 установки цели отслеживания выполняет обработку для отображения экране поиска лица (экрана поиска цели отслеживания), на котором прошлое видео, накопленное в рекордере 2, или видео в реальном времени, выведенное с камеры 1, отображается на мониторе 7, побуждая наблюдателя задать лицо, подлежащее отслеживанию на экране поиска лица, и устанавливая заданное лицо в качестве цели отслеживания. В примерном варианте осуществления, рамка лица (метка), представляющая лицо, обнаруженное на видео с камеры 1, отображается на видео с камеры, и рамка лица выбирается, чтобы установить данное лицо в качестве цели отслеживания.

[0049] Модуль 25 поиска камеры осуществляет поиск текущей следящей камеры 1, которая в текущее время снимает лицо, установленное в качестве цели отслеживания модулем 24 установки цели отслеживания на основе информации слежения (информации меж-камерного слежения), накопленной в хранилище 21 информации слежения. В данной обработке, основываясь на лице, установленном в качестве цели отслеживания, лицо, имеющее наивысшую оценку связи среди лиц, обнаруженных и прослеживаемых путем внутри-камерной обработки слежения, затем выбирают для каждой камеры 1 и получают последнюю позицию слежения для лица, подлежащего отслеживанию, и камеру 1, соответствующую последней позиции слежения, устанавливают в качестве текущей следящей камеры 1.

[0050] Модуль 26 предсказания камеры предсказывает следующую камеру 1 для последующей съемки лица, установленного в качестве цели отслеживания модулем 24 установки цели отслеживания на основе информации слежения (информации внутри-камерного слежения), накопленной в хранилище 21 информации слежения. В этой обработке, из информации внутри-камерного слежения и позиционной информации об области формирования изображения камеры 1, получают направление движения лица, подлежащего отслеживанию, и позиционное отношение между лицом, подлежащим отслеживанию, и областью формирования изображения камеры 1, и следующую камеру 1 предсказывают на основе направления движения и позиционного отношения.

[0051] Модуль 27 представления положения камеры представляет положение текущей следящей камеры 1, отыскиваемой модулем 25 поиска камеры, наблюдателю. В примерном варианте осуществления, карта области контроля, иллюстрирующая положение текущей следящей камеры 1, отображается на мониторе 7 на изображении карты, представляющем состояние области контроля. Эта карта области контроля представляет состояние установки камеры 1 в области контроля. Положения всех камер 1, установленных в области контроля, отображаются на карте области контроля, и, в частности, текущая следящая камера 1 выделяется идентифицируемым образом от других камер 1.

[0052] Модуль 28 представления видео камеры представляет наблюдателю каждое видео в реальном времени (текущее видео) текущей следящей камеры 1, отыскиваемой модулем 25 поиска камеры, и последующей камеры 1, предсказанной модулем 26 предсказания камеры. В примерном варианте осуществления, видео в реальном времени с каждой камеры 1 отображается на мониторе 7, и видео в реальном времени с текущей следящей камеры 1 и последующей камеры 1 выделяются идентифицируемым образом относительно видео в реальном времени с других камер 1. В частности, изображение рамки, подвергаемое предопределенному окрашиванию, отображается в периферийной части кадра отображения видео, отображающего видео в реальном времени с текущей следящей камеры 1 и последующей камеры 1 как выделенное (подсвеченное) отображение.

[0053] Здесь модуль 27 представления положения камеры и модуль 28 представления видео камеры отображают карту области контроля и видео с камеры 1 на мониторе 7 в разных окнах отображения. Например, на двух мониторах 7 отдельно отображаются окно отображения, отображающее карту области контроля и окно отображения, отображающее видео с камеры 1. Окно отображения, отображающее карту области контроля, и окно отображения, отображающее видео с камеры, могут отображаться на мониторе 7 так, чтобы не перекрываться друг с другом.

[0054] Когда данное лицо движется из области съемки текущей следящей камеры 1 к области съемки другой камеры 1, модуль 27 представления положения камеры и модуль 28 представления видео камеры обновляют положение текущей следящей камеры 1 на карте области контроля и каждое выделенное видео с текущей следящей камеры 1 и следующей камеры 1 в соответствии с переключением текущей следящей камеры 1.

[0055] Модуль 28 представления видео с камеры располагает видео с других камер 1 на основе видео с текущей следящей камеры 1 на экране монитора 7, отображая видео с каждой из множества камер 1 на основе степени релевантности между текущей следящей камерой 1 другими камерами 1. В примерном варианте осуществления, видео с камер 1 отображаются на экране монитора 7 бок о бок в вертикальном и горизонтальном направлениях, и видео с других камер 1, при расположении видео с текущей следящей камеры 1 в центре, расположены вокруг видео с текущей следящей камеры 1 соответственно фактическому позиционному соотношению с текущей следящей камерой 1.

[0056] Здесь степень релевантности представляет уровень релевантности между двумя камерами 1 и устанавливается на основе позиционного соотношения между двумя камерами 1. То есть, когда расстояние разнесения между двумя камерами 1 мало, степень релевантности становится высокой. В случае, когда расстояние разнесения между двумя камерами 1 велико, степень релевантности становится низкой. Расстояние разнесения между двумя камерами 1 может быть расстоянием вдоль прямой линии между позициями установки двух камер 1 или расстоянием разнесения на маршруте, по которому может двигаться некоторое лицо. В этом случае, даже если расстояние вдоль прямой линии между позициями установки двух камер 1 мало, в случае, когда человек двигается в обход, расстояние разнесения между двумя камерами 1 увеличивается.

[0057] В примерном варианте осуществления, можно увеличить или уменьшить количество камер 1 (количество отображаемых камер) для одновременного отображения видео на экране монитора 7 в соответствии с количеством камер 1, имеющих высокую степень релевантности с текущей следящей камерой 1. В примерном варианте осуществления, наблюдатель может выбирать количество отображаемых камер из девяти и двадцати пяти камер. В случае, когда общее количество камер 1, установленных в области контроля, превышает количество отображаемых камер, камеры 1, имеющие высокую степень релевантности с текущей следящей камерой 1, выбираются по количеству отображаемых камер, и видео с выбранных камер 11 отображаются на экране монитора 7.

[0058] Модуль 29 представления цели отслеживания представляет лицо, подлежащее отслеживанию на видео с текущей следящей камеры 1 наблюдателю, на основе информации слежения (информации внутри-камерного слежения), накопленной в хранилище 21 информации слежения. В примерном варианте осуществления, рамка лица (метка), представляющая отслеживаемое лицо, визуализируется на лице, обнаруженном внутри-камерной обработкой слежения из видео с каждой камеры 1, и, в частности, рамка отслеживаемого лица выделяется идентифицируемым образом относительно рамок лиц для других лиц. В частности, рамка отслеживаемого лица отображается в цвете, отличающемся от рамок лиц для других лиц в качестве выделенного отображения.

[0059] При этом, если имеет место ошибка в представлении лица в качестве цели отслеживания модулем 29 представления цели отслеживания, то есть рамка лица, выделенная на видео с текущей следящей камеры 1, отображается на лице ином, чем лицо, подлежащее отслеживанию, наблюдатель выбирает рамку лица для лица, подлежащего отслеживанию, среди видео со всех камер 1, и модуль 24 установки цели отслеживания выполняет обработку для изменения лица на выбранное наблюдателем в качестве цели отслеживания.

[0060] При обработке для изменения цели отслеживания, процессор 22 меж-камерного слежения может корректировать информацию слежения о лице, которое было изменено на цель отслеживания, и лице, которое было ошибочно распознано в качестве лица, подлежащего отслеживанию. Таким образом, путем коррекции информации слежения, в случае проверки действия лица после некоторого инцидента, можно надлежащим образом отображать видео лица, подлежащего отслеживанию, на основе корректной информации слежения.

[0061] Генератор 30 экрана генерирует информацию отображения экрана для отображения на мониторе 7. В примерном варианте осуществления, информация отображения экрана поиска лица (см. фиг. 6 и 7) и экрана выбора камеры (см. фиг. 8) генерируется в ответ на инструкцию из модуля 24 установки цели отслеживания, информация отображения экрана карты области контроля (см. фиг. 9) генерируется в ответ на инструкцию из модуля 27 представления положения камеры, и информация отображения экрана отображения списка видео (см. фиг. 10 и 11) и экрана увеличенного отображения видео (см. фиг.12) генерируется в ответ на инструкцию из модуля 28 представления видео камеры.

[0062] Модуль 31 хранения информации настройки хранит информацию о настройке, используемую в различной обработке, выполняемой в РС. В примерном варианте осуществления, модуль 31 хранения информации настройки хранит информацию, такую как идентификационная информация камеры 1 (ID камеры), имя камеры 1, информация о координатах в месте установки камеры 1, изображение карты, указывающее область контроля, и иконку (значок) камеры 1. В примерном варианте осуществления, информация о степени релевантности, представляющая уровень релевантности между камерами 1, заранее установлена для каждой камеры 1 в ответ на операцию ввода пользователя и т.п., и информация о степени релевантности хранится в модуле 31 хранения информации настройки.

[0063] Каждый модуль РС 3, показанного на фиг. 3, реализуется за счет того, что процессор (CPU) РС 3 исполняет программы (инструкции) для поддержки отслеживания, сохраненные в памяти, такой как HDD. Эти программы могут быть предоставлены пользователю путем инсталляции программ заранее на РС 3 в качестве устройства обработки информации, сконфигурированном как специализированное устройство, путем записи программ на соответствующем носителе записи программ в качестве прикладной программы, работающей на предопределенной ОS, или через сеть.

[0064] Далее, будет описан каждый экран, отображаемый на мониторе 7, показанном на фиг. 1, и обработка, выполняемая каждым модулем РС 3 в ответ на операцию наблюдателя, выполняемую на каждом экране. Фиг. 4 является пояснительной диаграммой, иллюстрирующей состояние перехода экранов, отображаемых на мониторе 7. Фиг. 5 является блок-схемой последовательности операций, иллюстрирующей процедуру обработки, выполняемую каждым модулем РС 3 в ответ на операцию наблюдателя, выполняемую на каждом экране.

[0065] Сначала, когда на РС 3 выполняется операция для запуска обработки поддержки отслеживания, модуль 24 установки цели отслеживания выполняет обработку для отображения экрана поиска лица (см. фиг. 6 и 7) на мониторе 7 (ST 101). Экран поиска лица с помощью одной камеры отображает видео с одной камеры 1, чтобы найти видео, на котором отображено лицо, подлежащее отслеживанию, а экран поиска лица с помощью множества камер отображает видео с множества камер 1, чтобы найти видео, на котором отображено лицо, подлежащее отслеживанию.

[0066] Здесь, когда операция выбора камеры выполняется на экране поиска лица с помощью множества камер, экран переходит к экрану выбора камеры (см. фиг. 8). На экране выбора камеры, наблюдатель может выбрать множество камер 1 для отображения видео на экране поиска лица. На экране выбора камеры, когда выбрана камера 1, экран возвращается к экрану поиска лица, и видео выбранной камеры отображается на экране поиска лица.

[0067] Экран поиска лица отображает рамку лица для каждого лица, обнаруженного внутри-камерной обработкой слежения на отображенных видео. Когда найдено лицо, подлежащее выбору, наблюдатель выполняет операцию выбора рамки лица для данного лица и задает это лицо в качестве цели отслеживания.

[0068] Таким образом, когда наблюдатель выполняет операцию задания лица, подлежащего отслеживанию, на экране поиска лица (Да на ST 102), модуль 24 установки цели отслеживания устанавливает лицо, заданное наблюдателем, в качестве цели отслеживания (ST 103). Затем модуль 25 поиска камеры выполняет поиск текущей следящей камеры 1, в текущее время отображающей лицо, подлежащее отслеживанию (ST 104). Когда текущая следящая камера 1 найдена (Да в ST 105), модуль 26 предсказания камеры предсказывает следующую камеру 1, затем формирующую изображение лица, подлежащего отслеживанию (ST 106).

[0069] Затем, модуль 27 представления положения камеры и модуль 28 представления видео камеры выполняют обработку для отображения на мониторе 7 экрана карты области контроля для отображения карты области контроля, указывающей положение каждой камеры 1 на изображении карты, показывающем область контроля, и экрана отображения списка видео для отображения видео в реальном времени с каждой камеры 1 в виде списка (ST 107). Экран карты области контроля и экран отображения списка видео отображаются соответственно отдельным образом на двух мониторах 7 одновременно. Окно для отображения карты области контроля и окно для отображения видео с каждой камеры в виде списка могут отображаться бок о бок на одном мониторе 7.

[0070] В это время, модуль 27 представления положения камеры выделяет положение текущей следящей камеры 1 на карте области контроля на экране карты области контроля. Модуль 28 представления видео камеры отображает видео с каждой камеры 1 и изображение рамки на кадре отображения видео, отображающем видео с текущей следящей камеры 1, как выделенное отображение на экране отображения списка видео. Модуль 29 представления цели отслеживания отображает рамку лица на лице, обнаруженном из видео с каждой камеры 1, на экране отображения списка видео, и рамка лица на лице, подлежащем отслеживанию, отображается в цвете, отличающемся от других лиц, как выделенное отображение.

[0071] Здесь, на экране отображения списка видео, наблюдатель может выбирать количество камер 1 для одновременного отображения видео. В примерном варианте осуществления, можно выбрать девять или двадцать пять камер. На экране отображения списка видео, когда предопределенная операция выполнена по отношению к кадру отображения видео, отображающему видео с каждой камеры 1, экран увеличенного отображения видео для отображения видео с камеры 1 отображается в увеличенном виде. С помощью экрана отображения списка видео и экрана увеличенного отображения видео наблюдатель может проверить, имеется ли ошибка в отображении лица, подлежащего отслеживанию.

[0072] Когда имеет место ошибка в отображении лица в качестве цели на экране отображения списка видео и экране увеличенного отображения видео, то есть лицо, отображаемое с рамкой лица, указывающей лицо, подлежащее отслеживанию, отличается от лица, заданного в качестве цели отслеживания, наблюдатель выполняет операцию корректировки лица, подлежащего отслеживанию. В частности, наблюдатель выполняет операцию выбора рамки лица для корректного лица в качестве цели отслеживания и задания этого лица в качестве цели отслеживания.

[0073] Таким образом, когда наблюдатель выполняет операцию коррекции цели отслеживания на экране отображения списка видео и экране увеличенного отображения видео (Да в ST 108), модуль 24 установки цели отслеживания выполняет обработку для изменения лица, заданного в качестве цели отслеживания наблюдателем, на цель отслеживания (ST 109). По отношению к лицу, которое было изменено на цель отслеживания, модуль 25 поиска камеры осуществляет поиск текущей следящей камеры 1 (ST 104), и модуль 26 предсказания камеры предсказывает следующую камеру (ST 106), и экран карты области контроля и экран отображения списка видео отображаются на мониторе 7 (ST 107).

[0074] С другой стороны, когда не имеется ошибки в отображении лица в качестве цели отслеживания на экране отображения списка видео и экране увеличенного отображения видео, хотя наблюдатель не выполняет операцию коррекции цели отслеживания (Нет в ST 108), лицо, подлежащее отслеживанию, передвигается в область формирования изображения (съемки) другой камеры 1, и внутри-камерная обработка слежения для лица, подлежащего отслеживанию, заканчивается (ST 110), модуль 25 поиска камеры выполняет поиск текущей следящей камеры 1 (ST 104). Когда текущая следящая камера 1 найдена (Да в ST 105), модуль 26 предсказания камеры предсказывает следующую камеру 1 (ST 106), и экран карты области контроля и экран отображения списка видео отображаются на мониторе 7 (ST 107).

[0075] Вышеуказанная обработка повторяется до тех пор, пока текущая следящая камера 1 не будет найдена в модуле 25 поиска камеры, то есть, лицо, подлежащее отслеживанию, перемещается за пределы области контроля, и лицо, подлежащее отслеживанию, среди лиц, обнаруженных из видео с камер 1, не найдено.

[0076] На экране отображения списка видео и экране увеличенного отображения видео, в случае потери из виду лица, подлежащего отслеживанию, возвращаясь к экрану поиска лица, наблюдатель снова выполняет операцию задания лица, подлежащего отслеживанию, на основе времени и положения камеры 1 непосредственно перед потерей из виду лица, подлежащего отслеживанию.

[0077] Далее, каждый экран, показанный на фиг. 4, будет описан подробно.

[0078] Сначала будет описан экран поиска лица, показанный на фиг. 4. Фиг. 6 и 7 являются пояснительными диаграммами, иллюстрирующими экран поиска лица, отображаемый на мониторе 7. Фиг. 6 показывает экран поиска лица одиночной камерой, и фиг. 7 показывает экран поиска лица множеством камер.

[0079] На экране поиска лица, задаются камера 1, в текущее время формирующая изображение лица, подлежащего отслеживанию, и время съемки камеры, находится видео, на котором отображено лицо, подлежащее отслеживанию, и лицо, подлежащее отслеживанию, задается на видео. Экран поиска лица отображается первым, когда на РС 3 выполняется операция запуска обработки поддержки отслеживания. В частности, камера 1 и время съемки камеры 1 задаются на основе места и времени, в которые было найдено лицо, подлежащее отслеживанию, запомненное наблюдателем.

[0080] Экран поиска лица включает в себя блок 41 задания времени поиска, кнопку 42 ʺзадание времениʺ, кнопку 43 ʺв реальном времениʺ, блок 44 задания камеры поиска, блок 45 отображения видео и оператор 46 воспроизведения.

[0081] В блоке 41 задания времени поиска, наблюдатель задает дату и время, которые являются центром периода, предполагаемого для съемки лица, подлежащего отслеживанию.

[0082] В блоке 44 задания камеры поиска, наблюдатель выбирает камеру 1 в соответствии с режимом поиска (режим одиночной камеры и режим нескольких камер). В режиме одиночной камеры задается одна камера 1, и видео, на котором снято лицо, подлежащее отслеживанию, отыскивается из видео с одной камеры 1. В режиме нескольких камер задается множество камер 1, и видео, на котором снято лицо, подлежащее отслеживанию, отыскивается из видео с множества камер 1.

[0083] Блок 44 задания камеры поиска включает в себя селектор 47 режима поиска (переключатель), селектор 48 раскрывающего меню и кнопку 49 ʺвыбор из картыʺ.

[0084] В селекторе 47 режима поиска, наблюдатель выбирает один режим поиска из режима одиночной камеры и режима нескольких камер. Когда выбран режим одиночной камеры, отображается экран поиска лица одиночной камерой, показанный на фиг. 6. Когда выбран режим нескольких камер, отображается экран поиска лица несколькими камерами, показанный на фиг. 7. В селекторе 48 раскрывающего меню наблюдатель выбирает одиночную камеру 1 в раскрывающем меню. Когда задействована кнопка 49 ʺвыбор из картыʺ, отображается экран выбора камеры (см. фиг. 8), и наблюдатель может выбрать множество камер 1 на экране выбора камеры.

[0085] Когда камера 1 выбрана в блоке 44 задания камеры поиска, затем задается время в блоке 41 задания времени поиска и приведена в действие кнопка 42 ʺзадание времениʺ, устанавливается режим задания времени. В этом режиме, видео в заданное время с заданной камеры 1 отображается на блоке 45 отображения видео. С другой стороны, когда камера 1 выбрана в блоке 44 задания камеры поиска, и приведена в действие кнопка 43 ʺв реальном времениʺ, устанавливается режим реального времени. В этом режиме, текущее видео с заданной камеры 1 отображается на блоке 45 отображения видео.

[0086] Переключение режима поиска и камеры 1 в блоке 44 задания камеры поиска может выполняться даже при воспроизведении видео с камеры 1 в блоке 45 отображения видео.

[0087] Блок 45 отображения видео отображает видео с камеры 1, имя камеры 1, дату и время, то есть время съемки видео. На экране поиска лица одиночной камерой, показанном на фиг. 6, отображается видео с заданной одиночной камеры 1. На экране поиска лица несколькими камерами, показанном на фиг. 7, видео с множества заданных камер 1 отображаются бок о бок в блоке 45 отображения видео.

[0088] В блоке 45 отображения видео, на видео с камеры 1, синяя рамка 51 лица отображается на изображении лица, обнаруженного посредством внутри-камерной обработки слежения из видео. Когда выполняется операция (клик в случае мыши) выбора рамки 51 лица с использованием устройства 6 ввода, такого как мышь, это лицо устанавливается в качестве цели отслеживания.

[0089] Оператор 46 воспроизведения выполняет операцию по воспроизведению видео, отображаемого на блоке 45 отображения видео. Оператор 46 воспроизведения снабжен кнопками 52 для воспроизведения, обратного воспроизведения, остановки, быстрой перемотки вперед и назад. Кнопки 52 приводятся в действие, чтобы эффективно просматривать видео и эффективно находить видео, на котором отображается лицо, подлежащее отслеживанию. Оператор 46 воспроизведения может работать в режиме задания времени, в которое отображается видео с камеры 1, путем задания времени поиска, и имеется возможность воспроизводить видео вплоть до настоящего времени в интервале с центром на времени, заданном блоком 41 задания времени поиска.

[0090] Оператор 46 воспроизведения снабжен ползунком 53 для настройки времени отображения видео, отображаемого на блоке 45 отображения видео, и управляя ползунком 53, можно переключиться на видео в предопределенное время. В частности, когда выполняется операция сдвига (перетаскивания) ползунка 53 с использованием устройства 6 ввода, такого как мышь, видео во время, указанное ползунком 53, отображается в блоке 45 отображения видео. Ползунок 53 включен с возможностью перемещения вдоль полосы 54, и центр полосы 54 является временем, заданным блоком 41 задания времени поиска.

[0091] Оператор 46 воспроизведения включает в себя кнопку 55 для задания диапазона настройки времени отображения, и имеется возможность задать диапазон настройки времени отображения, то есть диапазон перемещения ползунка 53, определяемого полосой 54, с помощью кнопки 55. В примерах, показанных на фиг. 6 и 7, диапазон настройки времени отображения можно переключать на 1 час или 6 часов.

[0092] Далее будет описан экран выбора камеры, показанный на фиг. 4. Фиг. 8 является пояснительной схемой, иллюстрирующей экран выбора камеры, отображаемый на мониторе 7.

[0093] На экране выбора камеры, наблюдатель выбирает множество камер 1, отображающих видео на экране поиска лица (см. Фиг. 7) множеством камер. Экран выбора камеры отображается путем приведения в действие кнопки 49 ʺвыбор из картыʺ на экране поиска лица.

[0094] Экран выбора камеры включает в себя блок 61 отображения списка выбранных камер и блок 62 выбора камеры.

[0095] В блоке 61 отображения списка выбранных камер отображается список выбранных камер 1.

[0096] В блоке 62 выбора камеры, значок 65 камеры (видео, показывающее камеру 1) для каждой из множества камер 1 отображается с наложением на изображение 64 карты, указывающее компоновку внутри магазина (состояние области контроля). Значок 65 камеры отображается наклонно, чтобы представлять направление съемки камеры 1. Таким образом, наблюдатель может грубо оценить область съемки камеры 1.

[0097] Когда блок 62 выбора камеры выбирает значок 65 камеры, камера 1, соответствующая выбранному значку 65 камеры, добавляется в блок 61 отображения списка выбранных камер. Когда камера 1 выбрана с помощью флажка 66, и задействована кнопка 67 ʺудалитьʺ, выбранная камера 1 удаляется. Когда задействована кнопка 68 ʺудалить всеʺ, все камеры 1, отображаемые в блоке 61 отображения списка выбранных камер, удаляются. Когда задействована кнопка 69 ʺопределитьʺ, камера 1, отображаемая в блоке 61 отображения списка выбранных камер, определяется как камера 1, которая должна отображаться на экране поиска лица (см. Фиг. 7), и видео с определенной камеры 1 отображается на экране поиска лица.

[0098] Модуль 31 хранения информации настройки (см. фиг. 3) хранит информацию установки, касающуюся координат и ориентации значка 65 камеры, и информацию изображения значка 65 камеры, соответствующую присутствию или отсутствию выбора. Значок 65 камеры, соответствующий наличию или отсутствию выбора, отображается, на основе этих элементов информации, в положении и ориентации, которые соответствуют фактическому состоянию расположения камер 1.

[0099] Кроме того, когда наблюдатель выбирает одну камеру 1 для отображения видео на экране поиска лица (см. фиг. 6) одиночной камерой, может отображаться экран, аналогичный блоку 62 выбора камеры экрана выбора камеры, показанного на фиг. 8, чтобы выбрать одиночную камеру 1 на изображении карты.

[0100] Далее будет описан экран карты области контроля, показанный на фиг. 4. Фиг. 9 является пояснительной диаграммой, иллюстрирующей экран карты области контроля, отображаемый на мониторе 7.

[0101] Экран карты области контроля представляет положение текущей следящей камеры 1, то есть камеры 1, в текущее время формирующей изображение отслеживаемого лица, наблюдателю. Когда наблюдатель выполняет операцию задания лица, подлежащего отслеживанию, на экране поиска лица (см. фиг.6 и 7), отображается экран карты области контроля.

[0102] На экране карты области контроля, подобно экрану выбора камеры (см. фиг. 8), карта области контроля, на которую наложен значок 62 камеры (видео, указывающее камеру 1) для каждой из множества камер 1, отображается на изображении 64 карты, указывающем компоновку внутри магазина (состояние области контроля). Значок 65 текущей следящей камеры 1 выделяется среди значков 65 камер. В частности, например, значок 65 камеры текущей следящей камеры 1 отображается с миганием.

[0103] Когда человек движется из области съемки текущей следящей камеры 1 к области съемки другой камеры 1, выделенное отображение значка 65 камеры текущей следящей камеры 1 обновляется в соответствии с переключением текущей следящей камеры 1. То есть, выделяемый значок 65 камеры переключается один за другим, в соответствии с перемещением человека в области контроля.

[0104] Экран карты области контроля включает в себя полосы прокрутки 71, 72. В случае, когда полная карта области контроля не умещается на экране, полосы прокрутки 71, 72 сдвигают отображаемое положение на карте области контроля в вертикальном направлении и в горизонтальном направлении. В случае, когда полная карта области контроля не умещается на экране, в начальном состоянии, в котором экран карты области контроля отображается на мониторе 7, положение отображения карты области контроля настраивается автоматически, так что значок 65 камеры текущей следящей камеры 1 располагается по существу в центре.

[0105] Далее будет описан экран отображения списка видео, показанный на фиг. 4. Фиг. 10 и 11 являются пояснительными диаграммами, показывающими экран отображения списка видео, отображаемый на мониторе 7. Фиг. 10 иллюстрирует экран отображения списка видео, когда количество отображаемых камер равно девяти, на фиг. 11 иллюстрирует экран отображения списка видео, когда количество отображаемых камер равно 25.

[0106] Чтобы контролировать действие лица, заданного в качестве цели отслеживания на экране поиска лица (см. фиг. 6 и 7), экран отображения списка видео является экраном контроля для отображения видео в реальном времени с текущей следящей камеры 1, в текущее время формирующей изображение отслеживаемого лица, следующей камеры 1, которая затем формирует изображение отслеживаемого лица, и предопределенного количества камер 1 вокруг текущей следящей камеры 1. Когда наблюдатель выполняет операцию задания лица, подлежащего отслеживанию, на экране поиска лица, отображается экран отображения списка видео.

[0107] Экран отображения списка видео включает в себя селектор 81 количества отображаемых камер, селектор 82 отображения рамки лица, блок 83 отображения списка видео и оператор 46 воспроизведения.

[0108] В селекторе 81 количества отображаемых камер, наблюдатель выбирает количество отображаемых камер, то есть количество камер 1 для одновременного отображения видео в блоке 83 отображения списка видео. В примерном варианте осуществления, может быть выбрано девять или двадцать пять камер. Когда селектором 81 количества отображаемых камер выбрано девять камер, отображается экран отображения списка видео, показанный на фиг. 10. Когда выбрано двадцать пять камер, отображается экран отображения списка видео, показанный на фиг. 11.

[0109] В селекторе 82 отображения рамки лица, наблюдатель выбирает режим отображения рамки лица. В примерном варианте осуществления, на видео с каждой камеры 1, отображаемом на кадре 85 отображения видео, на лице, обнаруженном из видео, отображается рамка 51 лица. Можно выбрать любой один из первого режима отображения рамки лица для отображения рамки 51 лица на всех лицах, обнаруженных из видео с каждой камеры 1, или второго режима отображения рамки лица для отображения рамки 51 лица только на лице, подлежащем отслеживанию. Во втором режиме отображения рамки лица, на лице ином, чем лицо, подлежащее поиску, рамка 51 лица не отображается.

[0110] В блоке 83 отображения списка видео, множество кадров 85 отображения видео, соответственно отображающих видео с каждой камеры 1, расположены бок о бок в вертикальном и горизонтальном направлениях. В начальном состоянии экрана отображения списка видео, отображается видео в реальном времени (текущее видео) с каждой камеры 1. Когда время отображения видео настроено оператором 46 воспроизведения, отображается прошлое видео с каждой камеры 1.

[0111] В блоке 83 отображения списка видео, видео с текущей следящей камеры 1, то есть видео с камеры 1, в текущее время формирующей изображение лица, подлежащего поиску, отображается в центре кадра 85 отображения видео, а видео с камер 1 иных, чем текущая следящая камера 1, отображаются по сторонам кадра 85 отображения видео.

[0112] В блоке 83 отображения списка видео, выполняется выделенное (подсвеченное) отображение для идентификации каждого кадра 85 видео с текущей следящей камеры 1 и последующей камеры 1 относительно кадров 85 отображения видео с других камер 1. В примерном варианте осуществления, изображение 87 рамки предопределенного цвета отображается в периферийной части кадра 85 отображения видео как выделенное отображение. Кроме того, чтобы идентифицировать каждый кадр 85 отображения видео с текущей следящей камеры 1 и следующей камеры 1, для изображения 87 рамки применяется цвет, отличающийся от кадра 85 отображения видео. Например, желтое изображение 87 рамки отображается на кадре 85 отображения видео с текущей следящей камеры 1, и зеленое изображение 87 рамки отображается на кадре 85 отображения видео со следующей камеры.

[0113] Когда человек движется из области съемки текущей следящей камеры 1 к области съемки другой камеры 1, видео с каждой камеры 1, отображаемое на каждом кадре 85 отображения видео блока 83 отображения списка видео, обновляется соответственно переключению текущей следящей камеры 1. В это время, поскольку текущая следящая камера 1 в качестве опорной переключается, видео кадров 85 отображения видео в периферийной части заменяются на видео с других камер 1, в дополнение к видео блока 83 отображения списка видео в центре, и блок 83 отображения списка видео изменяется в значительной степени в целом.

[0114] Здесь, в примерном варианте осуществления, модуль 28 представления видео камеры (см. фиг.3), в случае, когда общее количество камер 1, установленных в области контроля, превышает количество отображаемых камер, то есть количество кадров 85 отображения видео в блоке 83 отображения списка видео, камеры 1, имеющие высокую степень релевантности с текущей следящей камерой 1, выбираются по количеству отображаемых камер, выбранных в селекторе 81 количества отображаемых камер, и видео с выбранных камер 1 отображаются на экране блока 83 отображения списка видео. В случае, когда общее количество камер 1 меньше, чем количество отображаемых камер, лишний кадр 85 отображения видео отображается в сером цвете как неактивный.

[0115] В кадрах 85 отображения видео с камер 1 иных, чем текущая следящая камера 1, камера 1 для отображения видео на каждом кадре 85 отображения видео выбирается на основе высокой степени релевантности с текущей следящей камерой 1. То есть, кадры 85 отображения видео с камер 1, имеющих высокую степень релевантности с текущей следящей камерой 1, расположены вблизи кадра 85 отображения видео в центре, а кадры 85 отображения видео с камер 1, имеющих низкую степень релевантности с текущей следящей камерой 1, расположены в положениях дальше от находящегося в центре кадра 85 видео.

[0116] В кадрах 85 отображения видео с камер 1 иных, чем текущая следящая камера 1, камера 1 для отображения видео в каждом кадре 85 отображения видео выбирается так, чтобы по существу соответствовать фактическому позиционному соотношению с текущей следящей камерой 1. То есть, кадры 85 отображения видео с других камер 1 расположены в положении в направлениях вверх, вниз, вправо и влево и в наклонных направлениях по отношению к кадру 85 отображения видео с текущей следящей камеры 1 так, чтобы в значительной степени соответствовать направлению, в котором установлены другие камеры 1 относительно текущей следящей камеры 1.

[0117] Видео с текущей следящей камеры 1 всегда отображается в кадре 85 отображения видео в центре, то есть изображение 86 желтой рамки всегда отображается на кадре 85 отображения видео в центре, но кадр 85 отображения видео, отображающий видео со следующей камеры 1, то есть кадр 85 отображения видео, отображающий изображение 87 зеленой рамки, в любое время изменяется.

[0118] В камере 1, установленной вблизи конца области контроля, поскольку тогда нет соседней камеры 1 в направлении стороны конца области контроля, когда камера 1, установленная вблизи от конца области контроля выбрана в качестве текущей следящей камеры 1, дополнительные кадры 85 отображения видео, позиционированные в направлении, где нет другой камеры 1 по отношению к текущей следящей камере 1, отображаются в сером цвете как неактивные.

[0119] Когда человек перемещается из области съемки текущей следящей камеры 1 к другой области съемки следующей камеры 1, существует случай, когда внутри-камерное слежение по видео со следующей камеры 1 начинается раньше, чем заканчивается внутри-камерное слежение по видео с текущей следящей камеры 1. В этом случае, во время, когда внутри-камерное слежение по видео с текущей следящей камеры 1 заканчивается, следующая камера 1 переключается на текущую следящую камеру 1, и видео со следующей камеры 1 отображается на кадре 85 отображения видео в центре.

[0120] Когда человек перемещается из области съемки текущей следящей камеры 1 к другой области съемки следующей камеры 1, существует случай, когда возникает временная задержка между концом внутри-камерного слежения по видео с текущей следящей камеры 1 и началом внутри-камерного слежения по видео со следующей камеры 1. В этом случае, даже когда внутри-камерное слежение по видео с текущей следящей камеры 1 заканчивается, кадр 85 отображения видео, отображающий видео с каждой камеры 1, не изменяется в течение периода времени перед началом внутри-камерного слежения по видео со следующей камеры.

[0121] В блоке 83 отображения списка видео, на видео с каждой камеры 1, отображаемом в кадре 85 отображения видео, рамка 51 лица отображается на лице, обнаруженном посредством внутри-камерной обработки слежения из видео. В частности, в случае, когда рамка 51 лица отображается на всех лицах, обнаруженных из видео с каждой камеры 1, рамка 51 лица для лица, подлежащего отслеживанию, выделяется цветом, идентифицируемым по отношению к рамке 51 лица, отображаемой на других лицах. Например, рамка 51 лица для лица, подлежащего поиску, отображается в красном цвете, а рамка 51 лица для лица иного, чем подлежащее поиску, отображается в синем цвете.

[0122] Здесь красная рамка 51 лица, отображающая лицо, подлежащее поиску, отображается только для лица, подлежащего поиску, появляющегося на видео с текущей следящей камеры 1, и становится одной во всем блоке 83 отображения списка видео, а рамки 51 лиц для остальных лиц все являются синими. То есть, на видео с камеры 1 иной, чем текущая следящая камера 1, в частности, даже если слежение за лицом, подлежащим поиску, начато на видео со следующей камеры 1, синяя рамка лица отображается на этом лице. Рамка 51 лица для лица, подлежащего поиску, появляющегося на видео со следующей камеры 1, изменяется на красную после того, как следующая камера 1 переключится на текущую следящую камеру 1, и видео будет отображаться в кадре 85 отображения видео в центре.

[0123] В блоке 83 отображения списка видео отображаются дата и время съемки видео, отображаемого на каждом кадре 85 отображения видео, но имя камеры 1 может отображаться на каждом кадре 85 отображения видео.

[0124] Оператор 46 воспроизведения аналогичен показанному на экране поиска лица (см. фиг. 6 и 7), но на экране отображения списка видео может отображаться видео с момента времени, указанного на экране поиска лица до текущего времени, как движущееся изображение. То есть, в диапазоне перемещения ползунка 53 для настройки времени отображения видео, начальная точка (левый конец) полосы 54 для определения диапазона настройки времени отображения представляет собой время, заданное на экране поиска лица, а конечная точка (правый конец) полосы 54 представляет собой текущее время.

[0125] Таким образом, настраивая время отображения видео, отображаемого на блоке 45 отображения видео, оператором 46 воспроизведения, наблюдатель может проверять видео в прошлом. Кроме того, путем запуска воспроизведения видео с соответствующего времени, видео с каждой камеры 1, формирующей изображение лица, подлежащего отслеживанию, отображается затем при смене камеры 1 с течением времени в кадре 85 видео текущей следящей камеры 1 центре блока 83 отображения списка видео.

[0126] На экране отображения списка видео, в случае, когда возникает ошибка в отображении лица, подлежащего отслеживанию, то есть лицо, отображаемое с красной рамкой 51 лица, указывающей лицо, подлежащее отслеживанию, отличается от лица, заданного в качестве цели отслеживания, наблюдатель может выполнить операцию корректировки лица, подлежащего отслеживанию. В частности, когда корректное лицо в качестве цели отслеживания найдено среди лиц, отображаемых с синей рамкой 51 лица, указывающей, что оно не является лицом, подлежащим отслеживанию, для данного лица выбирается рамка 51 лица, и данное лицо задается в качестве цели отслеживания.

[0127] Здесь, когда выбирается другое лицо, появляющееся на видео с текущей следящей камеры 1, отображаемом в кадре 85 отображения видео в центре, рамка 51 лица для выбранного лица меняется только с синей на красную, и в блоке 83 отображения списка видео нет существенного изменения. Однако в случае, когда выбирается лицо, появляющееся на видео с камеры 1 иной, чем текущая следящая камера 1, отображаемом в кадре 85 отображения видео в периферийной части, то поскольку текущая следящая камера 1 изменена, имеет место существенное изменение в блоке 83 отображения списка видео.

[0128] Далее будет описан экран увеличенного отображения видео, показанный на фиг. 4. Фиг. 12 является пояснительной схемой, иллюстрирующей экран увеличенного отображения видео, отображаемый на мониторе 7.

[0129] Экран увеличенного отображения видео отображает видео с каждой камеры 1, отображаемое в увеличенном виде в кадре 85 отображения видео экрана отображения списка видео, и отображается, когда приводится в действие значок 88 увеличения в кадре 85 отображения видео экрана отображения списка видео. В примере, показанном на фиг. 12, экран увеличенного отображения видео отображается как всплывающее окно на экране отображения списка видео.

[0130] На экране увеличенного отображения видео, красная рамка 51 лица отображается на лице, подлежащем отслеживанию, среди лиц, обнаруженных из видео, и синяя рамка 51 лица отображается на лице ином, чем лицо, подлежащее отслеживанию, Кнопка 91 воспроизведения отображается в центре экрана увеличенного отображения видео. Когда кнопка 91 приведена в действие, аналогично экрану отображения списка изображений, видео с момента времени, заданного на экране поиска лица, до текущего времени может отображаться как движущееся изображение.

[0131] На экране увеличенного отображения видео, увеличенное видео может воспроизводиться во взаимосвязи с видео каждого кадра 85 отображения видео экрана отображения списка видео, то есть увеличенное видео экрана увеличенного отображения видео и видео экрана отображения списка видео могут отображаться одновременно. В случае, даже когда кадр 85 отображения видео, выбранный на экране отображения списка видео, изменяется на видео с другой камеры 1 путем переключения текущей следящей камеры на другую камеру 1, видео с исходной камеры 1 может отображаться непрерывно на экране увеличенного отображения видео. Когда камера 1 кадра 85 отображения видео, выбранного на экране отображения списка видео, исключается из цели отображения экрана отображения списка видео, экран увеличенного отображения видео может быть завершен.

[0132] На экране увеличенного отображения видео, в случае, когда имеется ошибка в отображении лица, подлежащего отслеживанию, то есть, лицо, отображаемое с красной рамкой 51 лица, указывающей лицо, подлежащее отслеживанию, отличается от лица, заданного в качестве цели отслеживания, если лицо, подлежащее отслеживанию, найдено среди лиц, отображаемых с синей рамкой 51 лица, указывающей что оно не является лицом, подлежащим отслеживанию, выбирается синяя рамка 51 лица, и это лицо может быть изменено на цель отслеживания.

[0133] Как описано выше, в примерном варианте осуществления, модуль 24 установки цели отслеживания отображает видео с камеры 1 на мониторе 7 и устанавливает лицо, подлежащее отслеживанию, в ответ на операцию ввода наблюдателя для задания лица, подлежащего отслеживанию на видео. Модуль 25 поиска камеры осуществляет поиск текущей следящей камеры 1, в настоящее время формирующей изображение лица, подлежащего отслеживанию, на основе информации слежения, полученной обработкой слежения в отношении видео с камеры 1. Модуль 26 предсказания камеры предсказывает следующую камеру 1, затем формирующую изображение лица, подлежащего отслеживанию, на основе информации слежения. Модуль 27 представления положения камеры отображает карту области контроля, указывающую положение текущей следящей камеры, на мониторе 7. Модуль 28 представления видео камеры отображает видео в реальном времени каждой из множества камер 1 на мониторе 7 и выделяет каждое видео в реальном времени с текущей следящей камеры 1 и следующей камеры 1 идентифицируемым образом, чтобы отличаться от видео в реальном времени с других камер 1. В частности, модуль 27 представления положения камеры и модуль 28 представления видео камеры отображают карту области контроля и видео в реальном времени с камеры 1 в разных окнах отображения на мониторе 7 и обновляют положение текущей следящей камеры 1 на карте области контроля и каждое выделенное видео в реальном времени с текущей следящей камеры 1 и следующей камеры 1 соответственно переключению текущей следящей камеры 1.

[0134] Следовательно, поскольку видео с текущей следящей камеры, на котором отображается лицо, подлежащее отслеживанию, и видео со следующей камеры, предсказанной, чтобы затем отображать лицо, подлежащее отслеживанию, выделены, и карта области контроля и видео с камеры отображаются в различных окнах отображения на устройстве отображения, имеется возможность сильно снизить нагрузку наблюдателя, выполняющего работу отслеживания, без ограничения количеством камер и состоянием расположения камер и продолжать отслеживание без потери из виду лица, подлежащего отслеживанию.

[0135] В примерном варианте осуществления, модуль 24 установки цели отслеживания устанавливает лицо, подлежащее отслеживанию, на видео, отображаемом в ответ на операцию ввода для задания времени и камеры 1 наблюдателем на экране поиска лица. Следовательно, можно найти видео, на котором отображается лицо, подлежащее отслеживанию, из экрана поиска лица на основе места и времени, в которое найдено лицо, подлежащее отслеживанию, запомненное наблюдателем.

[0136] В примерном варианте осуществления, модуль 29 представления цели отображает метку, представляющую лицо, обнаруженное из видео с камеры 1 на видео в реальном времени с камеры 1 на основе информации отслеживания, и выделяет метку лица, подлежащего отслеживанию, идентифицируемым образом, чтобы отличаться от меток других лиц. Модуль 24 установки цели отслеживания, в случае, когда имеет место ошибка в выделенной метке, то есть, выделенная метка отображается на лице ином, чем подлежащее отслеживанию, наблюдатель выбирает метку корректного лица, подлежащего отслеживанию, среди видео со всех камер 1 и изменяет выбранное лицо на цель отслеживания. Следовательно, в случае, когда имеет место ошибка в представлении лица в качестве цели отслеживания модулем 29 представления цели отслеживания, путем изменения лица, подлежащего отслеживанию, лицо, подлежащее отслеживанию, безусловно отображается затем на видео с текущей следящей камеры 1, и можно продолжать отслеживание без потери из виду лица, подлежащего отслеживанию.

[0137] В примерном варианте осуществления, модуль 31 хранения информации настройки хранит информацию о степени релевантности, представляющей уровень релевантности между двумя камерами 1. Модуль 28 представления видео камеры располагает видео с других камер 1 в соответствии со степенью релевантности между текущей следящей камерой 1 и другими камерами 1 на основе видео с текущей следящей камеры 1 на экране монитора 7, отображающего видео с каждой из множества камер 1. Следовательно, поскольку видео с камер 1 иных, чем текущая следящая камера 1, расположены в соответствии со степенью релевантности на основе видео с текущей следящей камеры 1, даже в случае потери из виду лица, подлежащего отслеживанию, на видео с текущей следящей камеры 1, можно легко найти видео с камеры 1, которая снимает лицо, подлежащее отслеживанию.

[0138] В примерном варианте осуществления, в модуле 28 представления видео камеры, можно увеличить или уменьшить количество камер для одновременного отображения видео на экране монитора 7 в соответствии с количеством камер 1, имеющих высокую степень релевантности с текущей следящей камерой 1. Следовательно, поскольку можно увеличить или уменьшить количество камер для одновременного отображения видео на экране монитора 7 (количество отображаемых камер), можно отображать видео с камер необходимым количеством камер 1. В этом случае, наблюдатель может вручную выбрать количество отображаемых камер, как необходимо, или количество отображаемых камер может переключаться автоматически на основе количества камер 1, имеющих высокую степень релевантности с текущей следящей камерой, в модуле 28 представления видео камер.

[0139] В примерном варианте осуществления, в блоке представления видео камеры, в случае, когда общее количество камер 1, установленных в области контроля, превышает количество камер 1 для одновременного отображения видео на экране монитора 7, камеры 1, имеющие высокую степень релевантности с текущей следящей камерой 1, выбираются по количеству камер 1, отображаемых одновременно, и видео с камер 1 отображаются на экране монитора 7. Следовательно, поскольку лицо, подлежащее отслеживанию, не перемещается внезапно из области съемки текущей следящей камеры к камере, имеющей низкую степень релевантности с текущей следящей камерой, то есть в область съемки далеко от текущей следящей камеры, можно продолжать отслеживание без потери из виду лица, подлежащего отслеживанию, путем отображения только видео с камер, имеющих высокую степень релевантности с текущей следящей камерой.

[0140] В примерном варианте осуществления, модуль 28 представления видео камер отображает видео с камер 1 на экране монитора 7 бок о бок в вертикальном и горизонтальном направлениях и располагает видео с других камер 1, при расположении видео с текущей следящей камерой 1 в центре, по сторонам от текущей следящей камеры 1 в соответствии с фактическим позиционным соотношением относительно текущей следящей камеры 1. Следовательно, поскольку видео с текущей следящей камеры 1 расположено в центре, наблюдатель может легко контролировать лицо, подлежащее отслеживанию. Поскольку видео с камеры 1 иной, чем текущая следящая камера 1, расположено вокруг видео с текущей следящей камеры 1 в соответствии с фактическим позиционным соотношением камеры 1, даже в случае потери из виду лица, подлежащего отслеживанию, на видео с текущей следящей камеры 1, можно легко найти видео с камеры 1, в которой формируется изображение лица, подлежащего отслеживанию.

[0141] В примерном варианте осуществления, в ответ на операцию ввода наблюдателя для выбора любого одного из видео в реальном времени для каждой камеры 1, отображаемой на мониторе 7, модуль 28 представления видео камеры отображает видео в реальном времени с камеры 1 в увеличенном виде на мониторе 7. Следовательно, поскольку видео с камеры 1 отображается в увеличенном виде, можно детально наблюдать ситуацию с лицом, подлежащим отслеживанию.

[0142] Второй примерный вариант осуществления

Далее будет описан второй примерный вариант осуществления. Моменты, не упомянутые здесь конкретно, являются теми же самыми, что и в описанном выше первом примерном варианте осуществления.

[0143] Сначала будет описан каждый экран, отображаемый на мониторе 7 во втором примерном варианте осуществления. Фиг. 13 является пояснительной диаграммой, иллюстрирующей состояние перехода экранов, отображаемых на мониторе 7 в соответствии с вторым вариантом осуществления.

[0144] В первом примерном варианте осуществления, экран поиска лица, имеющий конфигурацию экрана, предназначенного для поиска лица, используется отдельно от экрана отображения списка видео, отображающего видео в реальном времени. Однако во втором примерном варианте осуществления, экран поиска лица и экран отображения списка видео имеют одну и ту же конфигурацию экрана, и имеется возможность выбрать количество отображаемых камер (девять или 25 камер) на экране поиска лица, подобно экрану отображения списка видео. Во втором примерном варианте осуществления, на экране выбора камеры, наблюдатель выбирает камеру, отображающую видео в кадре отображения видео в центре на экране отображения списка видео.

[0145] Во втором примерном варианте осуществления, подобно первому примерному варианту осуществления, экран карты области контроля отображается одновременно с экраном отображения списка видео, и экран карты области контроля соответствует экрану карты области контроля в первом примерном варианте осуществления (см. фиг. 9). Когда задействуется значок увеличения на экране отображения списка видео, отображается экран увеличенного отображения видео, и экран увеличенного отображения видео является таким же, как экран увеличенного отображения видео в первом примерном варианте осуществления (см. фиг. 12).

[0146] Кроме того, во втором примерном варианте осуществления, аналогично первому примерному варианту осуществления, на экране отображения списка видео и экране увеличенного отображения видео, в случае потери из виду лица, заданного в качестве цели отслеживания, возвращающем к экрану поиска лица, операция задания лица, подлежащего отслеживанию, выполняется снова на основе времени и положения камеры 1 непосредственно перед потерей из виду лица, подлежащего отслеживанию.

[0147] В дальнейшем, каждый экран, показанный на фиг.13, будет описан подробно.

[0148] Сначала будет описан экран поиска лица, показанный на фиг.13. Фиг. 14 и 15 являются пояснительными диаграммами, показывающими экран поиска лица, отображаемый на мониторе 7. Фиг. 14 иллюстрирует экран поиска лица, когда количество отображаемых камер равно девяти, а фиг. 15 иллюстрирует экран поиска лица, когда количество отображаемых камер равно 25.

[0149] Экран поиска лица включает в себя блок 41 задания времени поиска, кнопку 42 ʺзадание времениʺ, кнопку 43 ʺв реальном времениʺ, селектор 101 камеры, селектор 102 количества отображаемых камер, селектор 103 отображения рамки лица, блок 104 отображения списка видео и оператор 46 воспроизведения. Блок 41 задания времени поиска, кнопка 42 ʺзадание времениʺ, кнопка 43 ʺв реальном времениʺ и оператор 46 воспроизведения являются теми же самыми, что и на экране поиска лица в первом примерном варианте осуществления (см. фиг. 6 и 7).

[0150] В селекторе 101 камеры, наблюдатель выбирает камеру 1, отображающую видео в кадре 85 отображения видео в центре блока 104 отображения списка видео. Селектор 101 камеры включает в себя селектор 106 режима (переключатель), оператор 107 раскрывающегося меню и кнопку 108 ʺвыбор из картыʺ. В селекторе 106 режима, наблюдатель выбирает либо режим выбора камеры 1 в раскрывающемся меню, либо режим выбора камеры 1 на карте. В операторе 107 раскрывающегося меню, камера 1 может быть выбрана с использованием раскрывающегося меню. Когда задействована кнопка 108 ʺвыбор из картыʺ, отображается экран выбора камеры (см. фиг. 16), и камера 1 может быть выбрана на экране выбора камеры.

[0151] В селекторе 102 количества отображаемых камер, наблюдатель выбирает количество отображаемых камер, то есть, количество камер 1 для одновременного отображения в блоке 104 отображения списка видео. В примерном варианте осуществления, можно выбрать либо девять, либо двадцать пять камер. Когда девять камер выбрано селектором 102 количества отображаемых камер, отображается экран поиска лица, показанный на фиг. 14. Когда выбрано двадцать пять камер, отображается экран поиска лица, показанный на фиг. 15.

[0152] В селекторе 103 отображения рамки лица можно выбрать либо первый режим отображения рамки лица, отображающий рамку лица на всех лицах, обнаруженных из видео с каждой камеры 1, либо второй режим отображения рамки лица, отображающий рамку лица только на лице, подлежащем отслеживанию. Выбор осуществляется на экране отображения списка видео (см. фиг. 17 и 18), и рамка лица отображается на всех лицах, обнаруженных из видео с каждой камеры 1 на экране поиска лица.

[0153] В блоке 104 отображения списка видео, множество кадров 85 отображения видео, соответственно отображающих видео с каждой камеры 1, расположены бок о бок в вертикальном и горизонтальном направлениях. В блоке 104 отображения списка видео, на видео с каждой камеры 1, отображаемом в кадре 85 отображения видео, синяя рамка 51 лица отображается на лице, обнаруженном посредством внутри-камерной обработки слежения из видео, и рамка 51 лица выбирается, чтобы установить данное лицо в качестве цели отслеживания.

[0154] Далее будет описан экран выбора камеры, показанный на фиг. 13. Фиг. 16 является пояснительной диаграммой, иллюстрирующей экран выбора камеры, отображаемый на мониторе 7.

[0155] Экран выбора камеры предназначен для выбора одной камеры 1, отображающей видео в кадре 85 отображения видео в центре на экране поиска лица (см. фиг. 14 и 15), и значок 62 камеры (видео, указывающее камеру 1) для каждой из множества камер 1 отображается с наложением на изображении 64 карты, указывающем планировку внутреннего помещения магазина (состояние области контроля).

[0156] Когда значок 65 камеры выбран на экране выбора камеры, значок 65 камеры изменяется на выбранное состояние, затем приводится в действие кнопка 111 определения, и определяется камера 1, отображающая виде в кадре 85 отображения видео в центре экрана поиска лица (см. фиг. 14 и 15). В модуле 28 представления видео камеры (см. фиг. 3), камеры 1, имеющие высокую степень релевантности с камерой 1, выбранной на экране выбора камеры, выбираются по количеству отображаемых камер, выбранных на экране поиска лица, и видео выбранных камер 1 отображаются на экране поиска лица.

[0157] Далее будет описан экран отображения списка видео, показанный на фиг. 13. Фиг. 17 и 18 являются пояснительными диаграммами, показывающими экран отображения списка видео, отображаемый на мониторе 7. На фиг. 17 показан экран отображения списка видео, когда количество отображаемых камер равно девяти, а на фиг. 18 показан экран отображения списка видео, когда количество отображаемых камер равно двадцати пяти.

[0158] Экран отображения списка видео по существу тот же самый, что и экран отображения списка видео (см. фиг. 10 и 11) согласно первому варианту осуществления. Когда девять камер выбрано в селекторе 102 количества отображаемых камер, отображается экран отображения списка видео, показанный на фиг. 17; когда выбрано двадцать пять камер, отображается экран отображения списка видео, показанный на фиг. 18. На экране отображения списка видео, изображение 87 желтой рамки отображается в кадре 85 отображения видео текущей следящей камеры 1, изображение 87 зеленой рамки отображается в кадре 85 отображения видео следующей камеры 1, красная рамка 51 лица отображается на лице, подлежащем поиску, и синяя рамка 51 лица, отображается на лице ином, чем подлежащее поиску.

[0159] Настоящее раскрытие описано на основе конкретных примерных вариантов осуществления, но эти варианты осуществления являются просто примерами, и настоящее раскрытие не ограничено этими примерными вариантами осуществления. Каждый элемент конфигурации устройства поддержки слежения, системы поддержки слежения и способа поддержки слежения в соответствии с настоящим раскрытием, проиллюстрированный в примерных вариантах осуществления, описанных выше, необязательно является существенным, и все они могут выбираться по мере необходимости без отклонения от объема настоящего раскрытия.

[0160] Например, в вышеописанных примерных вариантах осуществления описан пример розничного магазина, такого как супермаркет, однако он может быть применен к магазину коммерческого типа иного, чем розничный магазин, например, к ресторану, такому как семейный ресторан, а также к объекту иному, чем магазин, такому как офис.

[0161] В вышеописанных примерных вариантах осуществления описан пример отслеживания человека как движущегося объекта, но можно использовать конфигурацию отслеживания движущегося объекта иного, чем человек, например, транспортного средства, такого как автомобиль или велосипед.

[0162] В вышеописанных примерных вариантах осуществления, наблюдатель вручную выбирает количество камер 1 для одновременного отображения видео (количество отображаемых камер) на экране отображения списка видео, то есть, количество кадров 85 отображения видео, соответственно отображающих видео каждой камеры 1, однако количество отображаемых камер может автоматически переключаться на основе количества камер 1, имеющих высокую степень релевантности с текущей следящей камерой 1.

[0163] В вышеописанных примерных вариантах осуществления, как показано на фиг. 1 и 3, описаны примеры, в которых устройство 4 внутри-камерной обработки выполняет внутри-камерную обработку слежения, а РС 3 выполняет меж-камерную обработку слежения и обработку поддержки отслеживания, но может использоваться конфигурация, в которой внутри-камерная обработка слежения выполняется в РС 3. Также может использоваться конфигурация, в которой блок внутри-камерной обработки слежения включен в камеру 1. Также можно конфигурировать весь или часть процессора 22 меж-камерной обработки слежения с устройством обработки слежения, отличным от РС 3.

[0164] В вышеописанных примерных вариантах осуществления, как показано на фиг. 2, камера 1 представляет собой корпусную камеру, угол обзора которой ограничен. Однако камера не ограничена этим типом, и также может использоваться всенаправленная камера, способная снимать в широком диапазоне.

[0165] В вышеописанных примерных вариантах осуществления, обработка, необходимая для поддержки отслеживания, выполняется устройством, установленным в магазине. Необходимая обработка может выполняться, как показано на фиг. 1, посредством РС 11, установленного в головном офисе, или облачного компьютера 12, конфигурирующего облачную вычислительную систему. Множество устройств обработки информации совместно используют необходимую обработку, и информация может доставляться к множеству устройств обработки информации через среду связи, такую как IP-сеть или LAN, или носитель хранения данных, такой как жесткий диск или карта памяти. В этом случае, система поддержки отслеживания сконфигурирована с множеством устройств обработки информации, совместно использующих необходимую обработку.

[0166] В конфигурации системы, включающей в себя облачный компьютер 12, необходимая информация может отображаться на смартфоне 13, соединенном с облачным компьютером 12, с сетью или портативным терминалом, таким как планшетный терминал, в дополнение к РС 3 и 11, установленным в магазине и головном офисе. Следовательно, можно проверить необходимую информацию в произвольном месте, например, в удаленном месте, в дополнение к магазину и головному офису.

[0167] В вышеописанных примерных вариантах осуществления, рекордер 2 для хранения видео с камеры 1 установлен в магазине. Однако, в случае, когда необходимая обработка для поддержки отслеживания выполняется посредством РС 11, установленного в головном офисе, или облачного компьютера 12, видео с камеры 1 отправляется, например, в головной офис или операционное оборудование облачной вычислительной системы и может сохраняться в устройстве, установленном на месте.

ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ

[0168] Устройство поддержки отслеживания, система поддержки отслеживания и способ поддержки отслеживания в соответствии с настоящим раскрытием обеспечивают результат, состоящий в том, что рабочая нагрузка наблюдателя, который отслеживает некоторое лицо путем просмотра видео с каждой камеры, может быть уменьшена без ограничения количеством камер и состоянием расположения камер, и наблюдатель может продолжать отслеживание без потери из виду лица, подлежащего отслеживанию. Это является полезным в качестве устройства поддержки отслеживания, системы поддержки отслеживания и способа поддержки отслеживания и тому подобного для поддержки работы наблюдателя, отслеживающего движущийся объект, подлежащий отслеживанию, путем отображения видео в реальном времени с каждой из множества камер, формирующих изображение области контроля на устройстве отображения.

Пояснение обозначений на чертежах

[0169]

1 камера

2 рекордер (хранилище видео)

3 РС (устройство поддержки отслеживания)

4 устройство внутри-камерной обработки слежения

6 устройство ввода

7 монитор (устройство отображения)

11 РС

12 облачный компьютер

13 смартфон

21 хранилище информации отслеживания

22 процессор меж-камерного слежения

23 модуль получения информации ввода

24 модуль установки цели отслеживания

25 модуль поиска камеры

26 модуль предсказания камеры

27 модуль представления положения камеры

28 модуль представления видео камеры

29 модуль представления цели отслеживания

30 генератор экрана

31 модуль хранения информации настройки.

1. Устройство поддержки отслеживания, которое поддерживает работу наблюдателя, отслеживающего движущийся объект, подлежащий отслеживанию, путем отображения видео в реальном времени каждой из множества камер, формирующих изображение области контроля на устройстве отображения, причем устройство содержит:

модуль установки цели отслеживания, который устанавливает движущийся объект, подлежащий отслеживанию, в ответ на операцию ввода наблюдателя для отображения видео с камеры на устройстве отображения и для задания движущегося объекта, подлежащего отслеживанию на видео;

модуль поиска камеры, который выполняет поиск текущей следящей камеры, в текущее время формирующей изображение движущегося объекта, подлежащего отслеживанию, на основе информации слежения, полученной обработкой слежения по отношению к видео с камеры;

модуль предсказания камеры, который предсказывает следующую камеру, затем формирующую изображение движущегося объекта, подлежащего отслеживанию, на основе информации слежения;

модуль представления положения камеры, который отображает карту области контроля, указывающую положение текущей следящей камеры на устройстве отображения; и

модуль представления видеокамеры, который отображает видео в реальном времени с каждой из множества камер на устройстве отображения и выделяет каждое видео в реальном времени с текущей следящей камеры и следующей камеры идентифицируемым образом, чтобы отличаться от видео в реальном времени с других камер,

при этом модуль представления положения камеры и модуль представления видеокамеры отображают карту области контроля и видео в реальном времени с камеры в различных окнах отображения на устройстве отображения и обновляют положение текущей следящей камеры на карте области контроля и каждое выделенное видео в реальном времени с текущей следящей камеры и следующей камеры в соответствии с переключением текущей следящей камеры.

2. Устройство поддержки отслеживания по п. 1,

в котором модуль установки цели отслеживания устанавливает движущийся объект, подлежащий отслеживанию на видео, отображаемом в ответ на операцию ввода для задания времени и камеры наблюдателем на экране поиска лица.

3. Устройство поддержки отслеживания по п. 1, дополнительно содержащее:

модуль представления цели отслеживания, который отображает метку, представляющую движущийся объект, обнаруженный из видео с камеры, на видео в реальном времени с камеры на основе информации слежения, и выделяет метку лица, подлежащего отслеживанию, идентифицируемым образом, чтобы отличаться от меток других лиц,

причем в случае, когда имеется ошибка в выделенной метке, модуль установки цели отслеживания побуждает наблюдателя выбрать метку корректного движущегося объекта в качестве цели отслеживания среди видео со всех камер, чтобы изменить движущийся объект, выбранный наблюдателем, на цель отслеживания.

4. Устройство поддержки отслеживания по п. 1, дополнительно содержащее:

модуль хранения информации установки, который хранит информацию о степени релевантности, представляющей уровень релевантности между двумя камерами,

причем модуль представления видеокамеры располагает видео с других камер в соответствии со степенью релевантности между текущей следящей камерой и другими камерами на основе видео с текущей следящей камеры на экране устройства отображения, отображающего видео с каждой из множества камер.

5. Устройство поддержки отслеживания по п. 4,

в котором модуль представления видео камеры может увеличивать или уменьшать количество камер для одновременного отображения видео на экране устройства отображения в соответствии с количеством камер, имеющих высокую степень релевантности с текущей следящей камерой.

6. Устройство поддержки отслеживания по п. 4,

в котором, в случае, когда общее количество камер, установленных в области контроля, превышает количество камер для одновременного отображения видео на экране устройства отображения, блок представления видео выбирает камеры, имеющие высокую степень релевантности с текущей следящей камерой, по количеству камер и отображает видео с этих камер на экране устройства отображения.

7. Устройство поддержки отслеживания по п. 4,

в котором модуль представления видеокамеры отображает видео с камер на экране устройства отображения бок о бок в вертикальном и горизонтальном направлениях и располагает видео с других камер, с видео текущей следящей камеры в качестве центра, вокруг видео текущей следящей камеры в соответствии с фактическим позиционным соотношением между камерами.

8. Устройство поддержки отслеживания по п. 1,

в котором, в ответ на операцию ввода наблюдателя для выбора любого одного из видео в реальном времени для каждой камеры, отображаемых на устройстве отображения, модуль представления видео камеры отображает видео в реальном времени с камеры в увеличенном виде на устройстве отображения.

9. Система поддержки отслеживания, которая поддерживает работу наблюдателя, отслеживающего движущийся объект, подлежащий отслеживанию, путем отображения видео в реальном времени с каждой из множества камер, формирующих изображение области контроля, на устройстве отображения, причем система содержит:

камеру для формирования изображения области контроля;

устройство отображения для отображения видео с каждой камеры и

множество устройств обработки информации,

причем любое одно из множества устройств обработки информации включает в себя:

модуль установки цели отслеживания, который устанавливает движущийся объект, подлежащий отслеживанию, в ответ на операцию ввода наблюдателя для отображения видео с камеры на устройстве отображения и для задания движущегося объекта, подлежащего отслеживанию на видео;

модуль поиска камеры, который выполняет поиск текущей следящей камеры, в текущее время формирующей изображение движущегося объекта, подлежащего отслеживанию, на основе информации слежения, полученной посредством обработки слежения по отношению к видео с камеры;

модуль предсказания камеры, который предсказывает следующую камеру, затем формирующую изображение движущегося объекта, подлежащего отслеживанию, на основе информации слежения;

модуль представления положения камеры, который отображает карту области контроля, указывающую положение текущей следящей камеры на устройстве отображения; и

модуль представления видео камеры, который отображает видео в реальном времени с каждой из множества камер на устройстве отображения и выделяет каждое видео в реальном времени с текущей следящей камеры и следующей камеры идентифицируемым образом, чтобы отличаться от видео в реальном времени с других камер,

причем модуль представления положения камеры и модуль представления видеокамеры отображают карту области контроля и видео в реальном времени с камеры в разных окнах отображения на устройстве отображения и обновляют положение текущей следящей камеры на карте области контроля и каждое выделенное видео в реальном времени с текущей следящей камеры и следующей камеры в соответствии с переключением текущей следящей камеры.

10. Способ поддержки отслеживания, который побуждает устройство обработки информации выполнять обработку для поддержки работы наблюдателя, отслеживающего движущийся объект, подлежащий отслеживанию, путем отображения видео в реальном времени с каждой из множества камер, формирующих изображение области контроля, на устройстве отображения, причем способ содержит этапы:

установки движущегося объекта, подлежащего отслеживанию, в ответ на операцию ввода наблюдателя для отображения видео с камеры на устройстве отображения и для задания движущегося объекта, подлежащего отслеживанию на видео;

поиска текущей следящей камеры, в текущее время формирующей изображение движущегося объекта, подлежащего отслеживанию, на основе информации слежения, полученной посредством обработки слежения по отношению к видео с камеры;

предсказания следующей камеры, затем формирующей изображение движущегося объекта, подлежащего отслеживанию, на основе информации слежения;

отображения карты области контроля, указывающей положение текущей следящей камеры на устройстве отображения, и

отображения видео в реальном времени с каждой из множества камер на устройстве отображения и выделения каждого видео в реальном времени с текущей следящей камеры и следующей камеры идентифицируемым образом, чтобы отличаться от видео в реальном времени с других камер,

причем на каждом этапе отображения карты области контроля и видео в реальном времени с камеры на устройстве отображения, карта области контроля и видео в реальном времени с камеры отображаются в разных окнах отображения на устройстве отображения, и положение текущей следящей камеры на карте области контроля и каждое выделенное видео в реальном времени с текущей следящей камеры и следующей камеры обновляются в соответствии с переключением текущей следящей камеры.