Оборудование фиксации изображений и способ управления для него
Изобретение относится к оборудованию фиксации изображений и к способу управления для него. Техническим результатом является обеспечение оборудования фиксации изображений, которое позволяет получать видеоизображение пользовательских предпочтений без конкретных операций пользователя. Результат достигается тем, что оборудование фиксации изображений выполнено с возможностью изменять процесс съемки на основе данных для снятого изображения. Оборудование фиксации изображений выполнено с возможностью, когда оборудование фиксации изображений изменяет процесс съемки, назначать большие весовые коэффициенты данным для снятого изображения на основе инструкции от пользователя, чем данным для снятого изображения, обработанного автоматически. 3 н. и 9 з.п. ф-лы, 40 ил.
Область техники, к которой относится изобретение
[0001] Настоящее изобретение относится к оборудованию фиксации изображений и к способу управления для него.
Уровень техники
[0002] При съемке неподвижных изображений или видеосъемке с помощью оборудования фиксации изображений, такого как камера, пользователь обычно снимает изображение посредством определения объекта, который должен сниматься, через видоискатель и т.п. и регулирования кадрирования изображения, которое должно сниматься, через непосредственную проверку условий съемки. Такое оборудование фиксации изображений имеет функцию обнаружения ошибки в пользовательской операции и информирования пользователя в отношении ошибки или обнаружения внешнего окружения, и когда внешнее окружение не является подходящим для съемки изображения, информирования пользователя в отношении того, что окружение является неподходящим. Помимо этого, предусмотрен существующий механизм управления камерой таким образом, что камера переводится в состояние, подходящее для съемки изображения.
[0003] Такое оборудование фиксации изображений, которое снимает изображение через пользовательскую операцию, включает в себя камеру для регистрации повседневной жизни, которая периодически и постоянно захватывает изображение без пользовательской инструкции съемки (патентная публикация PCT с переводом на японский язык № 2016-536868). Камера для регистрации повседневной жизни используется в состоянии присоединения к телу пользователя с помощью ленты и т.п. и записывает сцену, которую пользователь видит в повседневной жизни, в качестве видеоизображения с заданными временными интервалами. Камера для регистрации повседневной жизни снимает изображение не в намеченное время, к примеру, во время, когда пользователь спускает затвор, а с заданными временным интервалами, так что неожиданный момент, который обычно не снимается, может записываться в качестве видеоизображения.
Сущность изобретения
[0004] Тем не менее, когда камера для регистрации повседневной жизни периодически и автоматически снимает изображение в состоянии, в котором пользователь носит камеру для регистрации повседневной жизни, видеоизображение, которое не представляет собой пользовательские предпочтения, может получаться, и видеоизображение момента, которое реально хочет пользователь, может не получаться.
[0005] Настоящее изобретение осуществлено с учетом вышеописанного неудобства, и задача настоящего изобретения заключается в том, чтобы предоставить оборудование фиксации изображений, которое позволяет получать видеоизображение пользовательских предпочтений без конкретных операций пользователя.
[0006] Техническая характеристика настоящего изобретения представляет собой способ управления для оборудования фиксации изображений и включает в себя этап изменения для изменения процесса оборудования фиксации изображений на основе первых данных для снятого изображения, снятого посредством узла съемки. На этапе изменения, когда процесс оборудования фиксации изображений изменяется, большие весовые коэффициенты назначаются первым данным для снятого изображения на основе инструкции от пользователя, чем первым данным для снятого изображения, обработанного автоматически.
Краткое описание чертежей
[0007] Фиг. 1A является схемой, которая схематично показывает оборудование фиксации изображений.
Фиг. 1B является видом, который иллюстрирует продольное направление, направление относительно вертикальной оси и поперечное направление.
Фиг. 2 является схемой, которая показывает конфигурацию оборудования фиксации изображений.
Фиг. 3 является схемой, которая показывает конфигурацию оборудования фиксации изображений и внешнего оборудования.
Фиг. 4 является схемой, которая показывает конфигурацию внешнего оборудования.
Фиг. 5 является схемой, которая показывает конфигурацию оборудования фиксации изображений и внешнего оборудования.
Фиг. 6 является схемой, которая показывает конфигурацию внешнего оборудования.
Фиг. 7 является блок-схемой последовательности операций способа, которая иллюстрирует первый узел управления.
Фиг. 8 является блок-схемой последовательности операций способа, которая иллюстрирует второй узел управления.
Фиг. 9 является блок-схемой последовательности операций способа, которая иллюстрирует процесс в режиме съемки.
Фиг. 10 является блок-схемой последовательности операций способа, которая иллюстрирует определение автоматического режима редактирования.
Фиг. 11 является блок-схемой последовательности операций способа, которая иллюстрирует автоматический процесс редактирования.
Фиг. 12 является видом, который иллюстрирует нейронную сеть.
Фиг. 13A является видом для иллюстрации примера, в котором разделение на зоны выполняется около позиции оборудования фиксации изображений (когда направление наклона и направление панорамирования составляют 22,5 градуса).
Фиг. 13B является видом для иллюстрации примера, в котором разделение на зоны выполняется около позиции оборудования фиксации изображений (когда угол наклона превышает или равен 45 градусам).
Фиг. 13C является видом для иллюстрации примера, в котором разделение на зоны выполняется в пределах угла обзора при съемке.
Фиг. 13D является видом для иллюстрации примера изображения для зоны угла обзора изображения, которое формируется как изображение.
Фиг. 14 является блок-схемой последовательности операций способа, которая иллюстрирует определение обучающего режима.
Фиг. 15 является блок-схемой последовательности операций способа, которая иллюстрирует процесс обучения.
Фиг. 16 является схемой, которая, иллюстрирует процесс отображения согласно настоящему варианту осуществления.
Фиг. 17 является схемой, которая показывает конфигурацию секции вращательного приведения в действие оправы объектива.
Фиг. 18 является видом, который иллюстрирует целевую позицию и фактическую позицию объекта для изображения.
Фиг. 19 является блок-схемой последовательности операций способа, которая иллюстрирует обнаружение операции изменения направления съемки.
Фиг. 20 является схемой, которая схематично показывает обнаружение операции изменения направления съемки.
Фиг. 21A является видом, который показывает изображение, снятое в момент времени ta.
Фиг. 21B является видом, который показывает изображение, снятое, когда пользователь поворачивает оправу 102 объектива вправо относительно закрепленной части 103 в момент времени tb.
Фиг. 21C является видом, который показывает изображение, когда целевой объект размещается в пределах угла обзора как результат поворачивания панорамирующего вала в позицию рядом с новым объектом через операцию изменения направления съемки пользователя в состоянии, в котором управляющий вывод компенсатора 1702 прекращается во время tc.
Фиг. 21D является видом, который показывает изображение, полученное посредством отслеживания и формирования изображений нового объекта после изменения направления съемки в состоянии, в котором управляющий вывод компенсатора 1702 начинается в момент времени t4.
Фиг. 22 является графиком, который показывает изменения во времени управляющего вывода 2201, позиционного отклонения 2202 и скорости 2203 перемещения панорамирования для операции изменения направления съемки.
Фиг. 23 является графиком, который показывает изменение вывода датчика ускорения секции 209 обнаружения встряхивания оборудования в то время, когда направление съемки оборудования фиксации изображений изменяется через пользовательскую операцию.
Фиг. 24 является блок-схемой последовательности операций способа, которая иллюстрирует процесс определения съемки с ручным голосовым управлением.
Фиг. 25 является графиком, который показывает результаты, полученные посредством применения обнаруженных значений направления звука к обработке с помощью гистограммы.
Фиг. 26 является схемой, которая, иллюстрирует уведомление интеллектуального устройства 301 в отношении того, что объект зарегистрирован.
Фиг. 27 является блок-схемой последовательности операций способа, которая иллюстрирует автоматический процесс съемки в случае пробуждения на основе обнаружения постукивания.
Фиг. 28 является блок-схемой последовательности операций способа, которая иллюстрирует автоматический процесс съемки в случае пробуждения на основе обнаружения звука.
Фиг. 29 является блок-схемой последовательности операций способа, которая иллюстрирует процесс в автоматическом режиме удаления файлов.
Фиг. 30 является видом, который показывает пример ручного управляющего приспособления.
Фиг. 31 является видом, который иллюстрирует сцену, в которой пользователь выполняет съемку выбранного объекта 5011 посредством наведения оборудования фиксации изображений на объект 5011.
Фиг. 32 является схемой, которая показывает пример конфигурации, которая является механически присоединяемой к вспомогательному башмаку 3202 камеры 3201, отличающейся от оборудования 101 фиксации изображений.
Фиг. 33 является блок-схемой последовательности операций способа, которая иллюстрирует процесс оборудования 101 фиксации изображений, когда оборудование 101 фиксации изображений и другая камера 3201 соединяются.
Подробное описание вариантов осуществления
[0008] Первый вариант осуществления
Конфигурация оборудования фиксации изображений
Фиг. 1 является схемой, которая схематично показывает оборудование фиксации изображений первого варианта осуществления.
[0009] Оборудование 101 фиксации изображений, показанное на фиг. 1A, включает в себя рабочий элемент, с помощью которого может управляться переключатель мощности (в дальнейшем в этом документе называется "кнопкой питания"; тем не менее, который также может представлять собой операцию, такую как постукивание, пролистывание и смахивание, на сенсорной панели), и другие компоненты. Оправа 102 объектива, которая представляет собой кожух, содержащий группу линз съемки, и элемент формирования изображений, который захватывает изображение, устанавливается в оборудовании 101 фиксации изображений. Оправа 102 объектива имеет вращательный механизм, который может приводить в действие и поворачивать оправу 102 объектива относительно закрепленной части 103. Узел 104 управления наклоном представляет собой механизм с приводом от электромотора, который может поворачивать оправу 102 объектива в продольном направлении, показанном на фиг. 1B. Узел 105 управления панорамированием представляет собой механизм с приводом от электромотора, который может поворачивать оправу 102 объектива в направлении относительно вертикальной оси. Таким образом, оправа 102 объектива может поворачиваться вокруг одной или более осей. Фиг. 1B является определением осей в позиции закрепленной части 103. Измеритель 106 угловой скорости и акселерометр 107 устанавливаются на закрепленной части 103 оборудования 101 фиксации изображений. Вибрация оборудования 101 фиксации изображений определяется на основе измерителя 106 угловой скорости и акселерометра 107. Узел управления наклоном и узел управления панорамированием вращательно приводятся в действие на основе определенного угла вибрации. Таким образом, перемещение оправы 102 объектива, которая представляет собой перемещаемую часть, корректируется, или наклон оправы 102 объектива корректируется.
[0010] Фиг. 2 является блок-схемой, которая показывает конфигурацию оборудования фиксации изображений настоящего варианта осуществления.
[0011] На фиг. 2, первая секция 223 управления состоит из процессора (например, CPU, GPU, микропроцессора, MPU и т.п.) и запоминающего устройства (например, DRAM, SRAM и т.п.). Они управляют блоками оборудования 101 фиксации изображений посредством выполнения различных процессов или передачи управляющих данных между блоками. Энергонезависимое запоминающее устройство 216 (EEPROM) представляет собой электрически стираемое и записываемое запоминающее устройство. Константы, программы и т.п., для работы первой секции 223 управления сохраняются в энергонезависимом запоминающем устройстве 216.
[0012] На фиг. 2, узел 201 масштабирования включает в себя линзу с переменным фокусным расстоянием для масштабирования. Секция 202 управления масштабированием приводит в действие и управляет узлом 201 масштабирования. Узел 203 фокусировки включает в себя линзу для регулирования фокуса. Секция 204 управления фокусировкой приводит в действие и управляет узлом 203 фокусировки.
[0013] В секции 206 формирования изображений, элемент формирования изображений принимает свет, входящий через группы линз, и выводит информацию электрического заряда, соразмерного с количеством света, в секцию 207 обработки изображений в качестве данных аналоговых изображений. Секция 207 обработки изображений применяет обработку изображений, такую как коррекция искажения, регулирование баланса белого и цветовая интерполяция, к данным цифровых изображений, выводимым через аналого-цифровое преобразование, и выводит обработанные данные цифровых изображений. Данные цифровых изображений, выводимые из секции 207 обработки изображений, преобразуются посредством секции 208 записи изображений в формат записи, такой как JPEG-формат, и отправляются в запоминающее устройство 215 или секцию 217 видеовывода (описана ниже).
[0014] Секция 205 вращательного приведения в действие оправы объектива приводит в действие узел 104 управления наклоном и узел 105 управления панорамированием, чтобы заставлять оправу 102 объектива приводиться в действие в направлении наклона и направлении панорамирования.
[0015] В секции 209 обнаружения встряхивания оборудования, например, устанавливаются измеритель 106 угловой скорости (гиродатчик), который определяет трехосные угловые скорости оборудования 101 фиксации изображений, и акселерометр 107 (датчик ускорения), который определяет трехосные ускорения оборудования. Секция 209 обнаружения встряхивания оборудования вычисляет угол вращения оборудования, величину сдвига оборудования и т.п. на основе обнаруженных сигналов.
[0016] Секция 213 голосового ввода получает голосовой сигнал в окрестности оборудования 101 фиксации изображений из микрофона, предоставленного в оборудовании 101 фиксации изображений, выполняет аналого-цифровое преобразование для голосового сигнала и отправляет голосовой сигнал в секцию 214 голосовой обработки. Секция 214 голосовой обработки выполняет связанный с речью процесс, такой как процесс оптимизации входного цифрового голосового сигнала. Голосовой сигнал, обработанный посредством секции 214 голосовой обработки, отправляется в запоминающее устройство 215 посредством первой секции 223 управления. Запоминающее устройство 215 временно сохраняет сигнал изображения, полученный посредством секции 207 обработки изображений, и голосовой сигнал, полученный посредством секции 214 голосовой обработки.
[0017] Секция 207 обработки изображений считывает сигнал изображения, временно сохраненный в запоминающем устройстве 215, например, кодирует сигнал изображения и формирует сжатый сигнал изображения. Секция 214 голосовой обработки считывает голосовой сигнал, временно сохраненный в запоминающем устройстве 215, например, кодирует голосовой сигнал и формирует сжатый голосовой сигнал. Первая секция 223 управления отправляет этот сжатый сигнал изображения и сжатый голосовой сигнал в секцию 220 записи и воспроизведения.
[0018] Секция 220 записи и воспроизведения записывает сжатый сигнал изображения, сформированный посредством секции 207 обработки изображений, сжатый голосовой сигнал, сформированный посредством секции 214 голосовой обработки, и другие управляющие данные и т.п., связанные со съемкой, на носитель 221 записи. Когда голосовой сигнал не кодируется со сжатием, первая секция 223 управления отправляет голосовой сигнал, сформированный посредством секции 214 голосовой обработки, и сжатый сигнал изображения, сформированный посредством секции 207 обработки изображений, в секцию 220 записи и воспроизведения и инструктирует секции 220 записи и воспроизведения записывать голосовой сигнал и сжатый сигнал изображения на носитель 221 записи.
[0019] Носитель 221 записи может представлять собой носитель записи, встроенный в оборудование 101 фиксации изображений, или съемный носитель записи. Носитель 221 записи имеет возможность записывать различные данные, такие как сжатый сигнал изображения, сжатый голосовой сигнал и голосовой сигнал, сформированные в оборудовании 101 фиксации изображений. Носитель, имеющий большую емкость, чем энергонезависимое запоминающее устройство 216, в общем, используется в качестве носителя 221 записи. Например, носитель 221 записи может представлять собой носитель записи любого типа, такой как жесткий диск, оптический диск, магнитооптический диск, CD-R, DVD-R, магнитная лента, энергонезависимое полупроводниковое запоминающее устройство и флэш-память.
[0020] Секция 220 записи и воспроизведения считывает (воспроизводит) сжатый сигнал изображения, сжатый голосовой сигнал, голосовой сигнал, различные данные и программы, записанные на носитель 221 записи. Первая секция 223 управления отправляет сжатый сигнал изображения считывания в секцию 207 обработки изображений и отправляет сжатый голосовой сигнал в секцию 214 голосовой обработки. Секция 207 обработки изображений временно сохраняет сжатый сигнал изображения в запоминающем устройстве 215, декодирует сжатый сигнал изображения в предварительно определенной процедуре и отправляет декодированные сигналы в секцию 217 видеовывода. Секция 214 голосовой обработки временно сохраняет сжатый голосовой сигнал в запоминающем устройстве 215, декодирует сжатый голосовой сигнал в предварительно определенной процедуре и отправляет декодированные сигналы в секцию 218 голосового вывода.
[0021] Множество микрофонов устанавливаются в оборудовании 101 фиксации изображений в качестве секции 213 голосового ввода. Секция 214 голосовой обработки имеет возможность обнаруживать направление звука в плоскости, в которой устанавливается множество микрофонов, и используется для поиска или автоматической съемки (описано ниже). Кроме того, секция 214 голосовой обработки обнаруживает конкретные голосовые команды. Голосовые команды могут представлять собой некоторые команды, зарегистрированные заранее, и также могут иметь такую конфигурацию, в которой пользователь может регистрировать конкретный голос в оборудовании фиксации изображений. Секция 214 голосовой обработки также выполняет распознавание звуковых сцен. В распознавании звуковых сцен, определение звуковых сцен выполняется посредством сети, обученной заранее через машинное обучение на основе большого объема голосовых данных. Например, сеть для обнаружения конкретной сцены, такой как "ободряющее восклицание", "хлопание" и "произнесение", задается в секции 214 голосовой обработки. Когда конкретная звуковая сцена или конкретная голосовая команда обнаруживается, секция 214 голосовой обработки выполнена с возможностью выводить инициирующий сигнал обнаружения в первую секцию 223 управления или вторую секцию 211 управления.
[0022] Вторая секция 211 управления, предоставленная отдельно от первой секции 223 управления, которая управляет всей основной системой оборудования 101 фиксации изображений, управляет электрической мощностью, подаваемой в первую секцию 223 управления.
[0023] Первая секция 210 подачи мощности и вторая секция 212 подачи мощности, соответственно, подают электрическую мощность для работы первой секции 223 управления и электрическую мощность для работы второй секции 211 управления. Когда кнопка питания, предоставленная для оборудовании 101 фиксации изображений, нажимается, как первая секция 223 управления, так и вторая секция 211 управления первоначально снабжаются электрической мощностью; тем не менее, как описано ниже, первая секция 223 управления управляется таким образом, чтобы инструктировать первой секции 210 подачи мощности прекращать подачу электрической мощности в себя. В то время, когда первая секция 223 управления также не работает, вторая секция 211 управления работает и принимает информацию из секции 209 обнаружения встряхивания оборудования или секции 214 голосовой обработки. Вторая секция управления выполнена с возможностью выполнять процесс определения в отношении того, следует или нет запускать первую секцию 223 управления, на основе различных фрагментов входной информации. Когда запуск определяется, вторая секция управления выполнена с возможностью предоставлять инструкцию в первую секцию подачи мощности, чтобы подавать электрическую мощность.
[0024] Секция 218 голосового вывода выводит предварительно установленный голосовой шаблон из динамика, встроенного в оборудование 101 фиксации изображений, например, во время съемки и т.п.
[0025] Секция 224 управления светодиодами управляет светодиодом, предоставленным для оборудования 101 фиксации изображений, в предварительно установленном шаблоне мигания светом, например, во время съемки и т.п.
[0026] Секция 217 видеовывода состоит, например, из контактного вывода видеовывода и отправляет сигнал изображения для инструктирования соединенному внешнему дисплею и т.п. отображать видеоизображение. Секция 218 голосового вывода и секция 217 видеовывода могут представлять собой один комбинированный контактный вывод, например, такой контактный вывод, как контактный вывод на основе мультимедийного интерфейса высокой четкости (HDMI) (зарегистрированная торговая марка).
[0027] Секция 222 связи выполняет связь между оборудованием 101 фиксации изображений и внешним оборудованием и, например, отправляет или принимает данные, такие как голосовой сигнал, сигнал изображения, сжатый голосовой сигнал и сжатый сигнал изображения. Секция 222 связи также принимает связанный со съемкой управляющий сигнал, такой как команды начала и прекращения съемки и панорамирование/наклон или масштабирование, и приводит в действие оборудование 101 фиксации изображений на основе инструкции из внешнего оборудования, поддерживающего двунаправленный обмен данными с оборудованием 101 фиксации изображений. Секция 222 связи также отправляет или принимает информацию, такую как различные связанные с обучением параметры, которые должны обрабатываться в секции 219 обработки при обучении (описана ниже), между оборудованием 101 фиксации изображений и внешним оборудованием. Секция 222 связи, например, представляет собой модуль беспроводной связи, такой как модуль связи в инфракрасном диапазоне, модуль связи на основе технологии Bluetooth (зарегистрированная торговая марка), модуль беспроводной LAN-связи, беспроводной USB-интерфейс и приемное GPS-устройство.
[0028] Конфигурация с внешним устройством связи
Фиг. 3 является схемой, которая показывает пример конфигурации системы беспроводной связи между оборудованием 101 фиксации изображений и внешним оборудованием 301. Оборудование 101 фиксации изображений представляет собой цифровую камеру с функцией съемки. Внешнее оборудование 301 представляет собой интеллектуальное устройство, включающее в себя модуль Bluetooth-связи и модуль беспроводной LAN-связи.
[0029] Оборудование 101 фиксации изображений и интеллектуальное устройство 301 поддерживают обмен данными, например, посредством связи 302 на основе беспроводной LAN, совместимой с серией IEEE 802.11-стандартов, и связи 303, имеющей взаимосвязь ведущих и ведомых устройств, к примеру, управляющей станции и трибутарной станции, такой как технология Bluetooth с низким энергопотреблением (в дальнейшем в этом документе называется "BLE"). Беспроводная LAN и BLE представляют собой пример способов связи. Когда каждое оборудование связи имеет две или более функций связи, и, например, одна из функций связи, которая выполняет связь во взаимосвязи между управляющей станцией и трибутарной станцией, может управлять другой функцией связи, может использоваться другой способ связи. Тем не менее, без потери общности, первая связь, такая как беспроводная LAN, предоставляет более высокоскоростную связь, чем вторая связь, такая как BLE, и вторая связь задается как, по меньшей мере, любое из связи, имеющей более низкое потребление электрической мощности, чем первая связь, и связи, имеющей меньшее расстояние возможности связи, чем первая связь.
[0030] В дальнейшем описывается конфигурация интеллектуального устройства 301 со ссылкой на фиг. 4.
[0031] Интеллектуальное устройство 301 включает в себя, например, не только секцию 401 управления беспроводной LAN для беспроводной LAN и секцию 402 BLE-управления для BLE, но также и секцию 406 управления линией связи общего пользования для общедоступной беспроводной связи. Интеллектуальное устройство 301 дополнительно включает в себя секцию 403 отправки и приема пакетов. Секция 401 управления беспроводной LAN выполняет драйвер, который выполняет процесс RF-управления и связи в беспроводной LAN и различное управление связью с беспроводной LAN, совместимой с серией IEEE 802.11-стандартов, и протокольную обработку для связи с беспроводной LAN. Секция 402 BLE-управления выполняет драйвер, который выполняет процесс RF-управления и связи согласно BLE и различное управление связью с BLE и протокольную обработку для связи с BLE. Секция 406 управления линией связи общего пользования выполняет драйвер, который выполняет процесс RF-управления и связи согласно общедоступной беспроводной связи и различное управление связью с общедоступной беспроводной связью и протокольную обработку, связанную с общедоступной беспроводной связью. Общедоступная беспроводная связь, например, является совместимой со стандартом IMT (международной системы мультимедийной связи), стандартом LTE (долгосрочного развития) и т.п. Секция 403 отправки и приема пакетов выполняет процесс для выполнения, по меньшей мере, любого из отправки и приема пакетов, связанных со связью с беспроводной LAN и BLE и с общедоступной беспроводной связью. В этом примере, в дальнейшем приводится описание при условии, что интеллектуальное устройство 301 выполняет, по меньшей мере, одно из отправки и приема пакетов в связи; тем не менее, помимо коммутации пакетов, может использоваться другой формат связи, например, коммутация каналов и т.п.
[0032] Интеллектуальное устройство 301 дополнительно включает в себя, например, секцию 411 управления, секцию 404 хранения, приемную GPS-секцию 405, часть 407 отображения, функциональную часть 408, секцию 409 голосового ввода и голосовой обработки и секцию 410 подачи мощности. Секция 411 управления, например, управляет всем интеллектуальным устройством 301 посредством выполнения управляющей программы, сохраненной в секции 404 хранения. Секция 404 хранения сохраняет, например, управляющую программу, которую выполняет секция 411 управления, и различные фрагменты информации, такие как параметры для связи. Различные операции (описаны ниже) реализуются посредством секции 411 управления, выполняющей управляющую программу, сохраненную в секции 404 хранения.
[0033] Секция 410 подачи мощности подает электрическую мощность в интеллектуальное устройство 301. Часть 407 отображения имеет, например, функцию, которая позволяет выводить визуально распознаваемую информацию, такую как ЖК-дисплей и светодиод, или выводить звук, такую как динамик, и отображает различные фрагменты информации. Функциональная часть 408, например, представляет собой кнопку и т.п., которая принимает пользовательскую операцию на интеллектуальном устройстве 301. Часть 407 отображения и функциональная часть 408 могут состоять из общего элемента, например, сенсорной панели и т.п.
[0034] Секция 409 голосового ввода и голосовой обработки, например, может быть выполнена с возможностью получать голос, испускаемый от пользователя, через микрофон общего назначения, встроенный в интеллектуальном устройстве 301, и получать пользовательскую управляющую команду через обработку распознавания голоса.
[0035] Голосовая команда на основе речи пользователя получается через выделенное приложение, установленное в интеллектуальном устройстве. Голосовая команда может сохраняться в качестве конкретной голосовой команды для инструктирования секции 214 голосовой обработки оборудования 101 фиксации изображений распознавать конкретную голосовую команду через связь 302 на основе беспроводной LAN.
[0036] Приемная GPS-секция 405 (GPS - глобальная система позиционирования) принимает GPS-сигналы, которые отправляются из спутников, анализирует GPS-сигналы и оценивает текущую позицию (информацию долготы и широты) интеллектуального устройства 301. Альтернативно, для оценки позиции, текущая позиция интеллектуального устройства 301 может оцениваться на основе информации относительно окружающей беспроводной сети посредством использования WPS (системы Wi-Fi-позиционирования) и т.п. Когда полученная текущая информация GPS-позиции расположена в пределах предварительно установленного позиционного диапазона (в пределах диапазона предварительно определенного радиуса), информация перемещения предоставляется в оборудование 101 фиксации изображений через секцию 402 BLE-управления и используется в качестве параметра для автоматической съемки или автоматического редактирования (описано ниже). Когда изменение позиции информации GPS-позиции превышает или равно предварительно определенному диапазону, информация перемещения предоставляется в оборудование 101 фиксации изображений через секцию 402 BLE-управления и используется в качестве параметра для автоматической съемки или автоматического редактирования (описано ниже).
[0037] Как описано выше, интеллектуальное устройство 301 обменивается данными с оборудованием 101 фиксации изображений посредством связи с использованием секции 401 управления беспроводной LAN и секции 402 BLE-управления. Оборудование 101 фиксации изображений и интеллектуальное устройство 301 отправляют или принимают данные, например, голосовой сигнал, сигнал изображения, сжатый голосовой сигнал, сжатый сигнал изображения и т.п. Рабочая инструкция для съемки и т.п. оборудования 101 фиксации изображений, отправки регистрационных данных голосовых команд или предоставления обнаружения предварительно определенной позиции и перемещения местоположения на основе информации GPS-позиции выполняется из интеллектуального устройства. Обучающие данные также отправляются или принимаются через выделенное приложение, установленное в интеллектуальном устройстве. Внешнее оборудование 301 не ограничено интеллектуальным устройством 301. Внешнее оборудование 301, например, может представлять собой оборудование, имеющее часть 407 отображения, функциональную часть 408 и т.п., и специализированно применимое для голосового ввода. С помощью этого оборудования, голос, испускаемый от пользователя, получается через вышеописанный микрофон, пользовательская управляющая команда получается через обработку распознавания голоса, и управляющая команда предоставляется в оборудование 101 фиксации изображений. За исключением вышеприведенного, это оборудование может иметь функцию чтения новостей посредством использования распознавания голоса, функцию связи с облаком и динамиком. Оборудование может иметь функцию звукового вывода для исследовательских целей с использованием поискового механизма или функцию диалоговой системы.
[0038] Конфигурация аксессуаров
Фиг. 5 является схемой, которая показывает пример конфигурации внешнего оборудования 501, которое поддерживает обмен данными с оборудованием 101 фиксации изображений. Оборудование 101 фиксации изображений представляет собой цифровую камеру с функцией съемки. Внешнее оборудование 501 представляет собой носимое устройство, включающее в себя различные считывающие части и поддерживающее обмен данными с оборудованием 101 фиксации изображений с использованием, например, модуля Bluetooth-связи и т.п.
[0039] Носимое устройство 501 выполнено с возможностью быть носимым, например, на руке и т.п. пользователя. Датчик, который определяет биологическую информацию, такую как пульс, частота сердцебиений и кровоток пользователя, с предварительно определенными интервалами, датчик ускорения, который имеет возможность обнаруживать состояние движения пользователя и т.п., устанавливаются в носимом устройстве 501.
[0040] Примеры части 502 обнаружения биологической информации включают в себя пульсовой датчик, который определяет пульс, датчик частоты сердцебиений, который определяет частоту сердцебиений, датчик кровотока, который определяет кровоток, и датчик, который считывает то, что изменение потенциала вследствие контакта кожи с электропроводящим полимером обнаруживается. В настоящем варианте осуществления, в дальнейшем приводится описание посредством использования датчика частоты сердцебиений в качестве части 502 обнаружения биологической информации. Датчик частоты сердцебиений определяет частоту сердцебиений пользователя посредством излучения инфракрасного света на кожу с использованием светодиода и т.п., обнаружения инфракрасного света, пропускаемого через ткань тела, с помощью светоприемного датчика и применения обработки сигналов к инфракрасному свету. Часть 502 обнаружения биологической информации выводит обнаруженную биологическую информацию в секцию 607 управления (описана ниже) в качестве сигнала.
[0041] Часть 503 обнаружения встряхивания, которая обнаруживает состояние движения пользователя, оснащается, например, датчиком ускорения или гиродатчиком и имеет возможность обнаруживать движение на основе информации относительно ускорения в отношении того, например, перемещается или нет пользователь, выполняет или нет пользователь действие посредством покачивания рукой, и т.п.
[0042] Носимое устройство 501 также оснащается функциональной частью 505, которая принимает пользовательскую операцию на носимом устройстве 501 и частью 504 отображения, такой как ЖК-дисплей и светодиод, которая выводит визуально распознаваемую информацию.
[0043] В дальнейшем описывается конфигурация носимого устройства 501 со ссылкой на фиг. 6.
[0044] Носимое устройство 501 включает в себя, например, секцию 607 управления, секцию 601 связи, часть 502 обнаружения биологической информации, часть 503 обнаружения встряхивания, часть 504 отображения, функциональную часть 505, секцию 606 подачи мощности и секцию 608 хранения.
[0045] Секция 607 управления, например, управляет всем носимым устройством 501 посредством выполнения управляющей программы, сохраненной в секции 608 хранения. Секция 608 хранения сохраняет, например, управляющую программу, которую выполняет секция 607 управления, и различные фрагменты информации, такие как параметры для связи. Различные операции (описаны ниже) реализуются, например, посредством секции 607 управления, выполняющей управляющую программу, сохраненную в секции 608 хранения.
[0046] Секция 606 подачи мощности подает электрическую мощность в носимое устройство 501. Часть 504 отображения имеет, например, функцию, которая позволяет выводить визуально распознаваемую информацию, такую как ЖК-дисплей и светодиод, или выводить звук, такую как динамик, и отображает различные фрагменты информации. Функциональная часть 505, например, представляет собой кнопку и т.п., которая принимает пользовательскую операцию на носимом устройстве 501. Часть 504 отображения и функциональная часть 505 могут состоять из общего элемента, например, сенсорной панели и т.п.
[0047] Функциональная часть, например, может быть выполнена с возможностью получать голос, испускаемый от пользователя, через микрофон общего назначения, встроенный в носимом устройстве 501, получать голос, испускаемый от пользователя, через голосовую обработку, и получать пользовательскую управляющую команду через обработку распознавания голоса.
[0048] Различные фрагменты обнаруженной информации из части 502 обнаружения биологической информации и части 503 обнаружения встряхивания обрабатываются посредством секции 607 управления, и обнаруженная информация отправляется в оборудование 101 фиксации изображений посредством секции 601 связи.
[0049] Например, обнаруженная информация отправляется в оборудование 101 фиксации изображений в то время, когда изменение частоты сердцебиений пользователя обнаруживается, или обнаруженная информация отправляется в то время, когда изменение состояния перемещения, такого как ходьба, бег и остановка. Кроме того, например, обнаруженная информация отправляется в то время, когда предварительно установленное движение покачивания рукой обнаруживается, или обнаруженная информация отправляется в то время, когда перемещение на предварительно установленное расстояние обнаруживается.
[0050] Фиг. 30 является примером ручного управляющего приспособления.
[0051] Корпус 101 оборудования фиксации изображений не включает в себя рабочий элемент, такой как кнопка спуска затвора для инструкции съемки, и оборудование 101 фиксации изображений может быть выполнено с возможностью управляться с помощью рабочих элементов, предоставляемых для приспособления.
[0052] Как показано на фиг. 31, пользователь может хотеть выполнять съемку выбранного объекта 5011 посредством наведения камеры к объекту 5011. В это время, если камера автоматически панорамируется/наклоняется, это перемещение может создавать помехи движению пользователя, чтобы направлять камеру к объекту, съемку которого хочет выполнять пользователь. Ручное управляющее приспособление 5001 может включать в себя переключатель 5005 для смены режима, который имеет возможность изменять режим между режимом автоматической настройки на основе камеры и режимом, в котором пользователь может вручную управлять камерой. В этом случае, когда переключатель 5005 для смены режима задается на ручной режим камеры, камера панорамируется/наклоняется для стабилизации камеры, но большое изменение угла панорамирования/наклона не выполняется для поиска объекта.
[0053] Альтернативно, даже когда переключатель 5005 для смены режима не предоставляется, может предоставляться часть 5002 обнаружения приспособления, которая имеет возможность обнаруживать то, соединяется или нет приспособление 5001 с оборудованием 101 фиксации изображений. В этом случае, когда приспособление соединяется, камера панорамируется/наклоняется для стабилизации камеры, но большое изменение угла панорамирования/наклона может не выполняться для поиска объекта. Соединение приспособления может обнаруживаться с помощью известного способа, такого как изменение напряжения и идентификатор.
[0054] Когда ручной режим камеры задается посредством переключателя 5005 для смены режима или части 5002 обнаружения приспособления, большое изменение угла панорамирования/наклона для поиска объекта не выполняется, но камера панорамируется/наклоняется для стабилизации камеры. Такая коррекция наклона, при которой оптическая ось камеры поддерживается в определенном направлении относительно гравитационного направления, может выполняться, но она может создавать помехи пользовательской операции. Стабилизация камеры отсекает нижние частоты (например, частотный диапазон ниже или равный 0,1 Гц) и корректирует только компонент верхних частот.
[0055] Даже когда камера не панорамируется/наклоняется для поиска объекта, пользователь может хотеть вручную изменять направление панорамирования/наклона. Когда оборудование 101 фиксации изображений наводится на объект 5101 и выполняет съемку объекта 5101, как показано на фиг. 31, пользователь может управлять углом наклона оборудования 101 фиксации изображений таким образом, что оптическая ось направляется вверх относительно оборудования 101 фиксации изображений, и выполнять съемку. В этом случае, рабочий элемент 5003, который имеет возможность изменять направление панорамирования/наклона, может предоставляться в ручном управляющем приспособлении 5001. Может использоваться способ, в котором рабочий элемент 5003 может свободно транслироваться в координаты XY, и оборудование 101 фиксации изображений панорамируется/наклоняется согласно направлению управления. Например, когда рабочий элемент перемещается вверх, камера наклоняется вверх относительно камеры; когда рабочий элемент перемещается вниз, камера наклоняется вниз относительно камеры; когда рабочий элемент перемещается вправо или влево, камера панорамируется согласно направлению.
[0056] Может предоставляться кнопка 5004 спуска затвора, с помощью которой пользователь может выполнять съемку в любое время. Может предоставляться переключатель 5006, который может изменять режим съемки (например, режим съемки неподвижных изображений, режим видеосъемки, панорамный режим съемки, замедленный режим съемки и т.п.).
[0057] Средство бесконтактной связи может использоваться в качестве способа предоставления управляющей инструкции из ручного управляющего приспособления 5001 в оборудование 101 фиксации изображений.
[0058] Управляющая инструкция может выдаваться через разъемы, которые соединяют электрические сигналы и которые, соответственно, предоставляются для оборудования 101 фиксации изображений и ручного управляющего приспособления 5001; тем не менее, когда аккумулятор включается в оборудование 101 фиксации изображений, ручному управляющему приспособлению не требуется разъем для аккумулятора. Следовательно, если разъем предоставляется для операции, такой как разблокировка, функция защиты от попадания капель должна добавляться в соединительный фрагмент, либо требуются некоторые компоненты, с результатом в виде увеличения размера оборудования или увеличения затрат.
[0059] Средство бесконтактной связи может представлять собой технологию Bluetooth с низким энергопотреблением (BLE), может представлять собой BLE на основе связи ближнего радиуса действия (NFC) либо может представлять собой другой способ.
[0060] Генератор радиоволн ручного управляющего приспособления 5001 может быть небольшим с небольшой емкостью подачи мощности и может представлять собой средство формирования незначительной величины электрической мощности, например, с помощью аккумулятора кнопочного типа или силы, прижимающей кнопку 5004 спуска затвора.
[0061] Таким образом, приспособление, отдельное от оборудования фиксации изображений и имеющее рабочий элемент для предоставления инструкции разблокировки в оборудование фиксации изображений и рабочий элемент для предоставления инструкции, чтобы приводить в действие вращательный механизм оборудования фиксации изображений, может быть выполнено с возможностью быть присоединяемым к оборудованию фиксации изображений. Приспособление, имеющее рабочий элемент для предоставления инструкции изменения режима съемки, которое может задавать два или более из режима съемки неподвижных изображений, видеорежима, панорамного режима и замедленного режима узла съемки, может быть выполнено с возможностью быть присоединяемым к оборудованию фиксации изображений. Рабочая инструкция с использованием рабочего элемента предоставляется из приспособления в оборудование фиксации изображений через средство бесконтактной связи. Оборудование фиксации изображений может обнаруживать информацию относительно приспособления, которое соединяется с оборудованием фиксации изображений, и изменять управляющую полосу частот средства стабилизации на основе информации относительно приспособления. Через обнаружение информации относительно приспособления, может изменяться то, следует или нет выполнять коррекцию наклона, чтобы поддерживать угол в определенном направлении со ссылкой на гравитационное направление. Сторона нижних частот управляющей полосы частот для стабилизации может отсекаться согласно обнаруженной информации относительно приспособления.
[0062] Фиг. 32 является примером конфигурации оборудования 101 фиксации изображений, которое является механически устанавливаемым на вспомогательном башмаке 3202 камеры 3201, отличающейся от оборудования 101 фиксации изображений.
[0063] Когда оборудование 101 фиксации изображений устанавливается на вспомогательном башмаке, как показано на фиг. 32, известны ориентация, в которой оборудование 101 фиксации изображений устанавливается на камере 3201, и угловая разность между направлением вдоль оптической оси камеры 3201 и направлением вдоль оптической оси оборудования 101 фиксации изображений. Следовательно, камера 3201 и оборудование 101 фиксации изображений легко управляются совместно друг с другом.
[0064] Передача информации между оборудованием 101 фиксации изображений и камерой 3201 может достигаться посредством механизма, в котором электрические контакты предоставляются во фрагменте, который должен соединяться со вспомогательным башмаком, и информация передается между оборудованием 101 фиксации изображений и камерой 3201. Оборудование 101 фиксации изображений и камера 3201 могут иметь механизм передачи информации, например, через USB и т.п. Альтернативно, может использоваться беспроводная связь (BLE, NFC и т.п.), либо может использоваться другой способ.
[0065] Ниже описывается взаимодействие между оборудованием 101 фиксации изображений и камерой 3201.
[0066] Последовательность операции фиксации изображений
Фиг. 7 является блок-схемой последовательности операций способа, которая иллюстрирует пример операций, которые первая секция 223 управления оборудования 101 фиксации изображений осуществляет в настоящем варианте осуществления.
[0067] Когда пользователь управляет кнопкой питания оборудования 101 фиксации изображений, первой секции 210 подачи мощности инструктируется подавать электрическую мощность из секции подачи мощности в первую секцию 223 управления и блоки оборудования 101 фиксации изображений.
[0068] Аналогично, также во второй секции 211 управления, второй секции 212 подачи мощности инструктируется подавать электрическую мощность из секции подачи мощности во вторую секцию управления. В дальнейшем описываются подробности операций второй секции управления со ссылкой на блок-схему последовательности операций способа по фиг. 8 (описана ниже).
[0069] Когда электрическая мощность подается, процесс по фиг. 7 начинается. На этапе 701, условие запуска загружается. В настоящем варианте осуществления, условие запуска является следующим.
(1) Кнопка питания вручную нажимается, и мощность включается.
(2) Мощность включается на основе инструкции из внешнего оборудования (например, 301) посредством внешней связи (например, BLE-связи).
(3) Мощность включается из подпроцессора (второй секции 211 управления).
[0070] В случае (3), мощность включается из подпроцессора, условие запуска, вычисленное в подпроцессоре, загружается, и подробности описываются ниже со ссылкой на фиг. 8.
[0071] Условие запуска, загруженное здесь, используется в качестве одного параметрического элемента во время поиска объекта или автоматической съемки, и это описывается ниже. Когда загрузка условия запуска завершается, процесс переходит к этапу 702.
[0072] На этапе 702, информация загружается из различных датчиков. Датчики, из которых выполняется загрузка, здесь могут представлять собой датчики, которые обнаруживают вибрацию, такие как гиродатчик и датчик ускорения секции 209 обнаружения встряхивания оборудования. Позиции вращения узла 104 управления наклоном и узла 105 управления панорамированием могут загружаться. Уровень голоса, триггер для обнаружения конкретного распознавания голоса или обнаруженное направление звука, которое обнаруживается посредством секции 214 голосовой обработки, могут загружаться.
[0073] Хотя не показано на фиг. 1-6, датчики, которые обнаруживают информацию окружения, также получают информацию.
[0074] Например, предусмотрены температурный датчик, который определяет температуру зоны в окрестности оборудования 101 фиксации изображений с предварительно определенными интервалами, и датчик атмосферного давления, который определяет изменение атмосферного давления в окрестности оборудования 101 фиксации изображений. Могут предоставляться датчик освещенности, который определяет яркость в окрестности оборудования 101 фиксации изображений, датчик влажности, который определяет влажность в окрестности оборудования 101 фиксации изображений, датчик ультрафиолетового излучения, который определяет количество ультрафиолетового света в окрестности оборудования 101 фиксации изображений, и т.п. В дополнение к определенной информации температуры, информации атмосферного давления, информации яркости, информации влажности и информации ультрафиолетового излучения, варьирование температуры, варьирование атмосферного давления, варьирование яркости, варьирование влажности, варьирование ультрафиолетового света и т.п., полученные посредством вычисления темпа изменения с предварительно определенными временными интервалами из определенных различных фрагментов информации, используются при определении для автоматической съемки и т.п. (описано ниже).
[0075] Когда загрузка информации из различных датчиков выполняется на этапе 702, процесс переходит к этапу 703.
[0076] На этапе 703, обнаруживается то, имеется или нет инструкция связи из внешнего оборудования, и когда имеется инструкция связи, связь с внешним оборудованием выполняется.
[0077] Например, удаленная операция или данные, такие как голосовой сигнал, сигнал изображения, сжатый голосовой сигнал и сжатый сигнал изображения, отправляются или принимаются из интеллектуального устройства 301 через беспроводную LAN или BLE. Независимо от того, имеется или нет рабочая инструкция для съемки и т.п. оборудования 101 фиксации изображений, от отправки регистрационных данных голосовых команд, от уведомления относительно обнаружения предварительно определенной позиции или от уведомления относительно перемещения местоположения на основе информации GPS-позиции, инструкция для того, чтобы отправлять или принимать обучающие данные из интеллектуального устройства 301, загружается.
[0078] Помимо этого, например, когда имеется обновленная информация относительно движения пользователя, информация относительно действия руки или биологическая информация, такая как частота сердцебиений, информация загружается из носимого устройства 501. Различные датчики, которые определяют вышеописанную информацию окружения, могут устанавливаться в оборудовании 101 фиксации изображений либо могут устанавливаться в интеллектуальном устройстве 301 или носимом устройстве 501. Во втором случае, информация окружения также загружается через BLE. Когда связь и загрузка информации из внешнего оборудования завершаются на этапе 703, процесс переходит к этапу S704.
[0079] На этапе 704, определяется режим, который должен задаваться. Режим, который должен задаваться на этапе 704, определяется и выбирается из числа следующих режимов.
[0080] (1) Автоматический режим съемки
Условие определения режима
Когда определяется необходимость выполнять автоматическую съемку на основе фрагментов обнаруженной информации (изображения, звука, времени, вибрации, места, изменения тела, изменения окружения), заданной посредством обучения (описано ниже), истекшего времени от момента, когда режим переключается в автоматический режим съемки, информации предыдущих съемок и т.п., режим задается в качестве автоматического режима съемки.
[0081] Процесс в режиме
В процессе в автоматическом режиме съемки (этап 710), поиск объекта автоматически выполняется посредством панорамирования/наклона или масштабирования на основе обнаруженной информации (изображения, звука, времени, вибрации, места, изменения тела, изменения окружения). Когда определяется то, что наступает время для возможности выполнять съемку пользовательских предпочтений, выполняется процесс определения способа съемки из числа различных способов съемки, таких как одиночная съемка неподвижного изображения, непрерывная съемка неподвижных изображений, видеосъемка, панорамная съемка и замедленная съемка, и съемка автоматически выполняется.
[0082] (2) Автоматический режим редактирования
Условие определения режима
Когда определяется необходимость выполнять автоматическое редактирование на основе истекшего времени от момента, когда выполняется последнее автоматическое редактирование, и информации предыдущих снятых изображений, режим задается в качестве автоматического режима редактирования.
[0083] Процесс в режиме
В процессе в автоматическом режиме редактирования (этап 712), процесс выбора неподвижного изображения или движущегося изображения выполняется на основе обучения, и автоматический процесс редактирования для создания видео с основными моментами, которое представляет собой итоговое одно движущееся изображение, выполняется посредством использования эффектов изображений, длительности отредактированного движущегося изображения и т.п., на основе обучения.
[0084] (3) Режим передачи изображений
Условие определения режима
В случае если режим задается в качестве автоматического режима передачи изображений на основе инструкции через выделенное приложение, установленное в интеллектуальном устройстве, когда определяется необходимость выполнять передачу изображений на основе истекшего времени от момента, когда выполняется последняя передача изображений, и информации предыдущих съемок, режим задается в качестве автоматического режима передачи изображений.
[0085] Процесс в режиме
В процессе в автоматическом режиме передачи изображений (этап 714), оборудование 101 фиксации изображений автоматически извлекает изображения, которые могут совпадать с пользовательскими предпочтениями, и инструктирует интеллектуальному устройству 301 автоматически извлекать изображения пользовательских предпочтений и передавать изображения. Извлечение изображений пользовательских предпочтений выполняется на основе количественных показателей, назначенных изображениям и определенных на основе пользовательских предпочтений.
[0086] (4) Режим обучения
Условие определения режима
Когда определяется необходимость выполнять автоматическое обучение на основе истекшего времени от момента, когда последний процесс обучения выполняется, информации, ассоциированной с изображениями, которые могут использоваться для обучения, числа обучающих данных и т.п., режим задается в качестве автоматического режима обучения. Альтернативно, когда также имеется инструкция для того, чтобы задавать обучающие данные через связь из интеллектуального устройства 301, режим задается в качестве этого режима.
[0087] Процесс в режиме
В процессе в автоматическом режиме обучения (этап 716), оборудование 101 фиксации изображений выполняет обучение, адаптированное к пользовательским предпочтениям. Обучение, адаптированное к пользовательским предпочтениям, выполняется посредством использования нейронной сети на основе информации относительно операций, выполненных на интеллектуальном устройстве 301, информации обучения, предоставленной из интеллектуального устройства 301, и т.п. Информация относительно операций, выполненных на интеллектуальном устройстве 301, включает в себя, например, информацию получения изображений из оборудования фиксации изображений, информацию касательно того, что инструкция ручного редактирования предоставляется через выделенное приложение, и информацию относительно значений определения, вводимых пользователем для изображений в оборудовании фиксации изображений.
[0088] Обучение, связанное с обнаружением, для регистрации на основе персональной идентификации, голосовой регистрации, регистрации звуковых сцен, общей регистрации распознавания объектов и т.п. и обучение в отношении вышеописанных условий режима низкого потребления электрической мощности и т.п. выполняются одновременно.
[0089] (5) Автоматический режим удаления файлов
Условие определения режима
Когда определяется необходимость выполнять автоматическое удаление файлов на основе истекшего времени от момента, когда выполняется последнее автоматическое удаление файлов, и оставшейся емкости энергонезависимого запоминающего устройства 216, в котором записываются изображения, режим задается в качестве автоматического режима удаления файлов.
[0090] Процесс в режиме
В процессе в автоматическом режиме удаления файлов (этап 718), файлы, которые должны автоматически удаляться (три варианта выбора), указываются на основе информации тегов, даты и времени снимка и т.п. каждого изображения из числа изображений в энергонезависимом запоминающем устройстве 216, и файлы удаляются.
[0091] Ниже описываются подробности процесса в автоматическом режиме съемки, процесса в автоматическом режиме редактирования и процесса в режиме обучения.
[0092] На этапе 705, определяется то, представляет собой режим, заданный на этапе 704, или нет режим низкого потребления электрической мощности. При определении режима низкого потребления электрической мощности, когда условие определения любого режима из "автоматического режима съемки", "автоматического режима редактирования", "автоматического режима передачи изображений", "режима обучения" и "автоматического режима удаления файлов" (описаны ниже) не удовлетворяется, определяется необходимость задавать режим в качестве режима низкого потребления электрической мощности. Когда процесс определения выполняется, процесс переходит к этапу 705.
[0093] Когда на этапе 705 определяется то, что условие режима низкого потребления электрической мощности удовлетворяется, процесс переходит к этапу 706.
[0094] На этапе 706, различные параметры относительно факторов запуска (параметр для определения обнаружения встряхивания, параметр для обнаружения звука и параметр определения истекшего времени), которые подвергаются определению в подпроцессоре (второй секции 211 управления), предоставляются в подпроцессор. Значения различных параметров варьируются как результат обучения в процессе обучения (описан ниже). Когда процесс этапа 706 завершается, процесс переходит к этапу 707, мощность главного процессора (первой секции 223 управления) выключается, и процесс завершается.
[0095] С другой стороны, когда на этапе 705 определяется то, что режим не представляет собой режим низкого потребления электрической мощности, процесс переходит к этапу 709, и определяется то, представляет собой режим, который должен задаваться, или нет автоматический режим съемки. Когда режим представляет собой автоматический режим съемки, процесс переходит к этапу 710, и процесс в автоматическом режиме съемки выполняется. Когда процесс завершается, процесс возвращается к этапу 702, и процесс повторяется. Когда на этапе 709 определяется то, что режим не представляет собой автоматический режим съемки, процесс переходит к этапу 711.
[0096] На этапе 711, определяется то, представляет собой режим, который должен задаваться, или нет автоматический режим редактирования. Когда режим представляет собой автоматический режим редактирования, процесс переходит к этапу 712, и автоматический режим редактирования выполняется. Когда процесс завершается, процесс возвращается к этапу 702, и процесс повторяется. Когда на этапе 711 определяется то, что режим не представляет собой автоматический режим редактирования, процесс переходит к этапу 713.
[0097] На этапе 713, определяется то, представляет собой режим, который должен задаваться, или нет автоматический режим передачи изображений. Когда режим представляет собой автоматический режим передачи изображений, процесс переходит к этапу 714, и процесс в автоматическом режиме передачи изображений выполняется. Когда процесс завершается, процесс возвращается к этапу 702, и процесс повторяется. Когда на этапе 713 определяется то, что режим не представляет собой автоматический режим передачи изображений, процесс переходит к этапу 715.
[0098] На этапе 715, определяется то, представляет собой режим, который должен задаваться, или нет режим обучения. Когда режим представляет собой режим обучения, процесс переходит к этапу 716, и процесс в режиме обучения выполняется. Когда процесс завершается, процесс возвращается к этапу 702, и процесс повторяется. Когда на этапе 715 определяется то, что режим не представляет собой режим обучения, процесс переходит к этапу 717.
[0099] На этапе 717, определяется то, представляет собой режим, который должен задаваться, или нет автоматический режим удаления файлов. Когда режим представляет собой автоматический режим удаления файлов, процесс переходит к этапу 718, и процесс в автоматическом режиме удаления файлов выполняется. Когда процесс завершается, процесс возвращается к этапу 702, и процесс повторяется. Когда на этапе 717 определяется то, что режим, который должен задаваться, не представляет собой автоматический режим удаления файлов, процесс возвращается к этапу 702, и процесс повторяется.
[0100] Фиг. 8 является блок-схемой последовательности операций способа, которая иллюстрирует пример операций, которые вторая секция 211 управления оборудования 101 фиксации изображений осуществляет в настоящем варианте осуществления.
[0101] Когда пользователь управляет кнопкой питания оборудования 101 фиксации изображений, как в случае, когда электрическая мощность подается из секции подачи мощности в первую секцию 223 управления посредством первой секции 210 подачи мощности, также во второй секции 211 управления, электрическая мощность подается из секции подачи мощности во вторую секцию 211 управления посредством второй секции 212 подачи мощности. Когда электрическая мощность подается, подпроцессор (вторая секция 211 управления) запускается, и процесс по фиг. 8 начинается.
[0102] На этапе 801, определяется то, истек или нет предварительно определенный период, который представляет собой интервал дискретизации. Например, когда предварительно определенный период задается равным 10 мс, процесс переходит к этапу 802 с интервалами в 10 мс. Когда определяется то, что предварительно определенный период не истек, подпроцессор возвращается к этапу 801 без выполнения процесса и ожидает до тех пор, пока предварительно определенный период не истекает.
[0103] На этапе 802, информация обучения загружается. Информация обучения представляет собой информацию, передаваемую во время передачи информации в подпроцессор на этапе 706 по фиг. 7, и, например, загружается следующая информация.
(1) Условие определения для конкретного обнаружения встряхивания
(2) Условие определения для конкретного обнаружения звука
(3) Условие определения для определения истечения времени
[0104] Когда информация обучения загружается на этапе 802, процесс переходит к этапу 803, и значение обнаружения встряхивания получается. Значение обнаружения встряхивания представляет собой выходное значение из датчика, который определяет вибрацию, такого как гиродатчик и датчик ускорения секции 209 обнаружения встряхивания оборудования.
[0105] Когда значение обнаружения встряхивания получается на этапе 803, процесс переходит к этапу 804, и процесс обнаружения предварительно установленного состояния встряхивания выполняется. Здесь, процесс определения изменяется на основе информации обучения, загруженной на этапе 802. В дальнейшем описываются некоторые примеры.
[0106] (1) Обнаружение постукивания
Состояние, в котором пользователь постукивает по оборудованию 101 фиксации изображений, например, с помощью кончика пальца и т.п. (состояние постукивания), может обнаруживаться через выходное значение датчика ускорения, предоставленного в оборудовании 101 фиксации изображений. Посредством передачи выводов трехосного датчика ускорения в полосовой фильтр (BPF), заданный в предварительно определенном частотном диапазоне, с предварительно определенной дискретизацией, может извлекаться диапазон сигналов изменения ускорения на основе постукивания. Постукивание обнаруживается на основе того, составляет или нет количество раз, когда сигнал ускорения, проходящий через BPF, превышает предварительно определенное пороговое значение ThreshA, предварительно определенное количество CountA за предварительно определенное время TimeA. В случае двойного постукивания, CountA задается равным двум. В случае тройного постукивания, CountA задается равным трем. TimeA или ThreshA также могут варьироваться согласно информации обучения.
[0107] (2) Обнаружение состояния встряхивания
Состояние встряхивания оборудования 101 фиксации изображений может обнаруживаться из выходного значения гиродатчика или датчика ускорения, предоставленного в оборудовании 101 фиксации изображений. Высокочастотный компонент вывода гиродатчика или датчика ускорения отсекается с помощью HPF, низкочастотный компонент отсекается с помощью LPF, и после этого выполняется преобразование в абсолютные значения. Вибрация обнаруживается на основе того, больше или равно либо нет количество раз, когда вычисленное абсолютное значение превышает предварительно определенное пороговое значение ThreshB, предварительно определенному количеству CountB за предварительно определенное время TimeB. Например, может определяться то, представляет собой состояние встряхивания состояние несильного встряхивания, к примеру, когда оборудование 101 фиксации изображений размещается на столе и т.п., или состояние сильного встряхивания, к примеру, когда пользователь идет с носимым оборудованием 101 фиксации изображений. Когда множество условий для порогового значения определения и множество условий для подсчитанного числа для определения предоставляются, может обнаруживаться состояние незначительного встряхивания для уровня встряхивания.
[0108] TimeB, ThreshB или CountB также могут варьироваться согласно информации обучения.
[0109] Выше описывается способ обнаружения конкретного состояния встряхивания на основе определения условия датчика обнаружения встряхивания. Тем не менее, когда данные датчика обнаружения встряхивания, дискретизированные в течение предварительно определенного времени, вводятся в устройство определения состояния встряхивания с использованием нейронной сети, и обученная нейтральная сеть имеет возможность обнаруживать конкретное состояние встряхивания, зарегистрированное заранее. В этом случае, загрузка информации обучения на этапе 802 заключается в том, чтобы загружать весовые параметры нейронной сети.
[0110] Когда конкретный процесс обнаружения состояния встряхивания выполняется на этапе 804, процесс переходит к этапу 805, и выполняется предварительно установленный конкретный процесс обнаружения звука. Здесь, процесс определения обнаружения изменяется согласно информации обучения, загруженной на этапе 802. В дальнейшем описываются некоторые примеры.
[0111] (1) Конкретное обнаружение голосовых команд
Конкретная голосовая команда обнаруживается. Голосовые команды могут представлять собой некоторые команды, зарегистрированные заранее, и пользователь может регистрировать конкретный голос в оборудовании фиксации изображений.
[0112] (2) Конкретное распознавание звуковых сцен
Определение звуковых сцен выполняется с помощью сети, обученной заранее за счет машинного обучения на основе большого объема голосовых данных. Например, обнаруживается конкретная сцена, такая как "ободряющее восклицание", "хлопание" и "произнесение". Сцена, которая должна обнаруживаться, варьируется согласно обучению.
[0113] (3) Определение уровня звука
Обнаружение на основе определения уровня звука выполняется с помощью способа, например, добавления периода времени, когда абсолютная величина уровня звука превышает предварительно определенный уровень в течение предварительно определенного времени. Предварительно определенное время, абсолютная величина предварительно определенного уровня и т.п. варьируются согласно обучению.
[0114] (4) Определение направления звука
Направление звука в плоскости, в которой устанавливается множество микрофонов, может обнаруживаться, и направление звука обнаруживается для уровня звука с предварительно определенной величиной.
[0115] На этапе 805 определяется то, выполнен или нет вышеописанный процесс определения в секции 214 голосовой обработки, и то, выполнено или нет конкретное обнаружение звука, при настройках, изученных заранее.
[0116] Когда конкретный процесс обнаружения звука выполняется на этапе 805, процесс переходит к этапу 806. На этапе 806 определяется то, находится или нет главный процессор (первая секция 223 управления) в выключенном состоянии. Когда главный процессор находится в выключенном состоянии, процесс переходит к этапу 807, и выполняется предварительно установленный процесс обнаружения истечения времени. Здесь, процесс определения обнаружения изменяется согласно информации обучения, загруженной на этапе 802. Информация обучения представляет собой информацию, передаваемую во время передачи информации в подпроцессор (вторую секцию 211 управления) на этапе 706, описанном со ссылкой на фиг. 7. Истекшее время от момента, когда главный процессор переключается из включенного состояния в выключенное состояние, измеряется. Когда истекшее время превышает или равно параметру TimeC, определяется то, что время истекло; тогда как, когда истекшее время меньше TimeC, не определяется то, что истекло время. TimeC представляет собой параметр, который варьируется согласно информации обучения.
[0117] Когда процесс обнаружения истечения времени выполняется на этапе 807, процесс переходит к этапу 808, и определяется то, определяется или нет отмена режима низкого потребления электрической мощности. Следующее условие отмены режима низкого потребления электрической мощности используется для определения.
(1) Условие определения для конкретного обнаружения встряхивания
(2) Условие определения для конкретного обнаружения звука
(3) Условие определения для определения истечения времени
[0118] Может определяться то, удовлетворяется или нет условие определения для конкретного обнаружения встряхивания, через конкретный процесс обнаружения состояния встряхивания на этапе 804. Может определяться то, удовлетворяется или нет условие определения для конкретного обнаружения звука, через конкретный процесс обнаружения звука на этапе 805. Может определяться то, удовлетворяется или нет условие определения для обнаружения истечения времени, через процесс обнаружения истечения времени на этапе 807. Следовательно, любое одно или более условий удовлетворяются, определение необходимости отменять режим низкого потребления электрической мощности выполняется.
[0119] Когда на этапе 808 определяется то, что условие отмены удовлетворяется, процесс переходит к этапу 809, и мощность главного процессора включается. На этапе 810, условие (встряхивание, звук, время), на основе которого определяется то, что отменяется режим низкого потребления электрической мощности, предоставляется в главный процессор. Процесс возвращается к этапу 801, и процесс циклично повторяется.
[0120] Когда ни одно из условий отмены не удовлетворяется на этапе 808, и определяется то, что режим низкого потребления электрической мощности не отменяется, процесс возвращается к этапу 801, и процесс циклично повторяется.
[0121] Когда на этапе 806 определяется то, что главный процессор находится во включенном состоянии, информация, полученная из этапов 803-805, предоставляется в главный процессор. Процесс возвращается к этапу 801, и процесс циклично повторяется.
[0122] В настоящем варианте осуществления, даже когда главный процессор находится во включенном состоянии, обнаружение встряхивания или конкретное обнаружение звука выполняется посредством подпроцессора, и обнаруженный результат предоставляется в главный процессор. Тем не менее, когда главный процессор включен, процессы этапов 803-805 могут не выполняться, и обнаружение встряхивания или конкретное обнаружение звука может обнаруживаться в процессе (на этапе 702 по фиг. 7) в главном процессоре.
[0123] Как описано выше, посредством выполнения этапов 704-707 по фиг. 7 и процесса по фиг. 8, условия для переключения в режим низкого потребления электрической мощности и условия для отмены режима низкого потребления электрической мощности изучаются на основе пользовательской операции. Таким образом, может выполняться операция фиксации изображений, адаптированная к удобству и простоте использования пользователя, который владеет оборудованием 101 фиксации изображений. Ниже описывается способ обучения.
[0124] Выше подробно описывается способ отмены режима низкого потребления электрической мощности на основе обнаружения встряхивания, обнаружения звука или истечения времени. Альтернативно, режим низкого потребления электрической мощности может отменяться на основе информации окружения. Информация окружения может определяться на основе того, превышает либо нет температура, атмосферное давление, яркость, влажность, абсолютная величина или варьирование ультрафиолетового света предварительно определенное пороговое значение, и пороговое значение может варьироваться согласно обучению (описано ниже).
[0125] Может определяться то, отменяется или нет режим низкого потребления электрической мощности, как результат определения касательно информации относительно обнаружения встряхивания, обнаружения звука или истечения времени либо абсолютного значения или варьирования каждого фрагмента информации окружения на основе нейронной сети, и в этом процессе определения, условие определения может изменяться согласно обучению (описано ниже).
[0126] Процесс в автоматическом режиме съемки
В дальнейшем описываются подробности процесса в автоматическом режиме съемки со ссылкой на фиг. 9. Как описано выше, первая секция 223 управления оборудования 101 фиксации изображений в настоящем варианте осуществления обрабатывает управление следующим процессом.
[0127] На этапе S901, секции 207 обработки изображений инструктируется выполнять обработку изображений для сигналов, захваченных посредством секции 206 формирования изображений, и формировать изображение для распознавания объектов.
[0128] Объект, такой как человек и предмет, распознается из сформированного изображения.
[0129] Когда человек распознается, лицо или тело объекта обнаруживается. В процессе обнаружения лиц, шаблон для определения лица человека задается заранее, и фрагмент, который включается в снятое изображение и который совпадает с шаблоном, может обнаруживаться в качестве изображения лица человека.
[0130] Степень доверия, которая указывает вероятность в качестве лица объекта, также вычисляется одновременно. Степень совпадения вычисляется, например, из размера зоны лица в изображении, степени совпадения с шаблоном лица и т.п.
[0131] Кроме того, что касается распознавания объектов, аналогично, может распознаваться предмет, который совпадает с шаблоном, зарегистрированным заранее.
[0132] Также, например, предусмотрен способ извлечения характерного объекта с помощью способа использования гистограммы оттенка, сигнала цветности и т.п., в снятом изображении. В этом случае, относительно изображения объекта, захваченного в пределах угла обзора при съемке, выполняется процесс разделения распределения, извлекаемого из гистограммы оттенка, сигнала цветности и т.п., изображения на множество секций и классификации снятого изображения для каждой секции.
[0133] Например, гистограммы множества цветовых компонентов создаются для снятого изображения, каждая из них разделяется с помощью гористого диапазона распределения, снятое изображение классифицируется в зоне, принадлежащей комбинации идентичных секций, и зона изображения объекта распознается.
[0134] Когда значение оценки вычисляется для каждой зоны изображения распознанного объекта, зона изображения объекта, имеющего наибольшее значение оценки, может определяться в качестве зоны основного объекта.
[0135] При вышеописанном способе, каждый фрагмент информации объекта может получаться из информации съемки.
[0136] На этапе S902, вычисляется величина стабилизации изображения. В частности, сначала абсолютный угол оборудования фиксации изображений вычисляется на основе информации относительно угловой скорости и ускорения, полученной посредством секции 209 обнаружения встряхивания оборудования. После этого, угол управления вибрацией для приведения в действие узла 104 управления наклоном и узла 105 управления панорамированием в таком направлении, чтобы отменять абсолютный угол, находится и задается для величины стабилизации изображения. В процессе вычисления величины стабилизации изображения здесь, способ вычисления может изменяться согласно процессу обучения (описан ниже).
[0137] На этапе S903, определяется состояние оборудования фиксации изображений. То, в какое состояние вибрации/движения переводится оборудование фиксации изображений, определяется, например, на основе угла и величины перемещения, определенной из информации угловой скорости, информации ускорения, информации GPS-позиции и т.п.
[0138] Например, когда оборудование 101 фиксации изображений устанавливается на транспортном средстве и захватывает изображение, информация объекта, такая как окружающий пейзаж, значительно варьируется в зависимости от расстояния перемещения.
[0139] Следовательно, определяется то, переводится или нет оборудование 101 фиксации изображений в "состояние перемещения транспортного средства", в котором оборудование 101 фиксации изображений устанавливается на транспортном средстве и т.п. и перемещается на высокой скорости, и может использоваться для автоматического поиска объекта, который описывается ниже.
[0140] Также определяется то, является или нет изменение угла большим, и определяется то, переводится или нет оборудование 101 фиксации изображений в "состояние стационарного захвата", в котором практически отсутствует угол встряхивания.
[0141] В случае "состояния стационарного захвата", можно считать, что отсутствует изменение в пределах угла самого оборудования 101 фиксации изображений, так что поиск объекта для стационарного захвата может выполняться.
[0142] Когда изменение угла является относительно большим, определяется то, что оборудование 101 фиксации изображений переводится в "состояние удержания в руке", так что может выполняться поиск объекта для состояния удержания в руке.
[0143] На этапе S904, выполняется процесс поиска объекта. Поиск объекта состоит из следующих процессов.
[0144] (1) Разделение на зоны
В дальнейшем описывается разделение на зоны со ссылкой на фиг. 13. Разделение на зоны выполняется около позиции оборудования фиксации изображений (начало O координат задается как позиция оборудования фиксации изображений), как показано на фиг. 13A. В примере по фиг. 13A, разделение на зоны выполняется каждые 22,5 градуса в каждом из направления наклона и направления панорамирования. Когда разделение на зоны выполняется, как показано на фиг. 13A, по мере того, как угол в направлении наклона отклоняется от нуля градусов, периметр в горизонтальном направлении уменьшается, и зона уменьшается. Таким образом, как показано на фиг. 13B, когда угол наклона превышает или равен 45 градусам, диапазон зон в горизонтальном направлении задается таким образом, что он превышает 22,5 градуса. Фиг. 13C и фиг. 13D показывают примеры, в которых зона разделяется в пределах угла обзора при съемке. Ось 1301 представляет собой направление оборудования 101 фиксации изображений во время инициализации, и зона разделяется с этим углом направления, заданным в качестве исходной позиции. 1302 указывает зону угла обзора захватываемого изображения, и пример изображения в это время показывается на фиг. 13D. В изображении, появляющемся в пределах угла обзора, изображение разделяется, как и в случае 1303-1318 по фиг. 13D, на основе разделения на зоны.
[0145] (2) Вычисление уровня важности каждой зоны
Для каждой из зон, разделенных так, как описано выше, уровень важности, который указывает очередность по приоритету для выполнения поиска, вычисляется согласно объекту, присутствующему в зоне, и условию для сцены зоны. Уровень важности на основе условия объекта вычисляется, например, на основе числа людей, присутствующих в зоне, размера лица каждого человека, ориентации лица, вероятности обнаружения лиц, выражения лица каждого человека и результата персональной аутентификации каждого человека. Уровень важности на основе условия сцены, например, представляет собой общий результат распознавания объектов, результат идентификации сцен (голубое небо, задняя подсветка, вечерний вид и т.п.), уровень и результат распознавания голоса звука, исходящего из зоны, информацию считывания перемещения в зоне и т.п. Состояние вибрации оборудования фиксации изображений обнаружено при определении состояния оборудования фиксации изображений (S903), и уровень важности также может быть выполнен с возможностью варьироваться согласно состоянию вибрации. Например, когда определяется в качестве "статического состояния съемки", уровень важности определяется как высокий, когда идентификация по лицу конкретного человека обнаруживается таким образом, что поиск объекта выполняется посредством фокусировки на объекте, имеющем более высокий приоритет из числа объектов, зарегистрированных в идентификации по лицу (например, пользователе оборудования фиксации изображений). Автоматическая съемка (описана ниже) также выполняется предпочтительно для вышеописанного лица. Даже когда период времени, в течение которого пользователь оборудования фиксации изображений выполняет съемку с помощью оборудования фиксации изображений, носимого на теле, является длительным, но когда оборудование фиксации изображений извлекается и помещается на стол и т.п., могут записываться множество изображений, содержащих пользователя. В это время, выполнение поиска является возможным посредством панорамирования/наклона, так что даже когда угол размещения и т.п. оборудования фиксации изображений не учитывается, изображение, содержащее пользователя, и групповая фотография и т.п., содержащая множество лиц, могут записываться просто посредством приблизительного размещения оборудования фиксации изображений. Только при вышеописанных условий, зона, имеющая наибольший уровень важности, является идентичной, если нет изменения зон, так что в итоге найденная зона постоянно остается неизменной. Следовательно, уровень важности изменяется согласно информации предыдущих съемок. В частности, уровень важности зоны, которая непрерывно указывается в качестве зоны выполнения поиска в течение предварительно определенного времени, может понижаться, или уровень важности зоны, в которой съемка выполняется на этапе S910 (описано ниже), может понижаться в течение предварительно определенного времени.
[0146] (3) Определение целевой зоны для поиска
Когда уровень важности каждой зоны вычисляется так, как описано выше, зона, имеющая высокий уровень важности, определяется в качестве целевой зоны для поиска. Целевой угол поиска для панорамирования/наклона, требуемый для того, чтобы захватывать целевую зону для поиска в угол обзора, вычисляется.
[0147] На этапе S905, камера панорамируется/наклоняется. В частности, величина панорамирования/наклона вычисляется посредством суммирования угла приведения в действие в контрольной выборке на основе величины стабилизации изображения и целевого угла поиска для панорамирования/наклона, и узел 104 управления наклоном и узел 105 управления панорамированием управляются таким образом, что они приводятся в действие посредством секции 205 вращательного приведения в действие оправы объектива.
[0148] На этапе S906, узел 201 масштабирования управляется, и камера масштабируется. В частности, камера масштабируется согласно состоянию целевого объекта для поиска, заданному на этапе S904. Например, когда целевой объект для поиска представляет собой лицо человека, слишком маленькое лицо в изображении не может обнаруживаться, поскольку размер меньше обнаруживаемого минимального размера, и может быть потеряно. В таком случае, узел 201 масштабирования управляется таким образом, чтобы масштабироваться к телефотографической стороне таким образом, что размер лица в изображении увеличивается. С другой стороны, когда лицо для изображения является слишком большим, объект может выходить за пределы угла обзора в зависимости от перемещения объекта или самого оборудования фиксации изображений. В таком случае, узел 201 масштабирования управляется таким образом, чтобы масштабироваться к широкоугольной стороне таким образом, что размер лица в раме уменьшается. Посредством выполнения управления масштабированием таким образом, может поддерживаться состояние, подходящее для отслеживания объекта.
[0149] На этапе S904-S906, описывается способ для поиска объекта посредством панорамирования/наклона или масштабирования. Альтернативно, поиск объекта может выполняться с помощью системы фиксации изображений, которая выполняет съемку всех направлений одновременно с использованием множества широкоугольных объективов. В случае всенаправленной камеры, если обработка изображений, такая как обнаружение объектов, выполняется для всех сигналов, которые получаются посредством съемки в качестве входных изображений, требуется огромная обработка. Следовательно, часть изображения обрезается, и процесс поиска объекта выполняется в пределах диапазона обрезанного изображения. Уровень важности каждой зоны вычисляется, как и в случае вышеописанного способа, позиция обрезки изменяется на основе уровня важности, и определение в отношении автоматической съемки (описана ниже) выполняется. Таким образом, возможны уменьшение потребления электрической мощности и высокоскоростной поиск объекта через обработку изображений.
[0150] На этапе S9076 определяется то, имеется или нет инструкция (ручной) съемки пользователя. Когда имеется инструкция съемки, процесс переходит к этапу S910. В это время, инструкция (ручной) съемки пользователя может представлять собой нажатие кнопки спуска затвора оборудования 101 фиксации изображений либо нажатие кнопки спуска затвора ручного управляющего приспособления 5001. Альтернативно, инструкция (ручной) съемки пользователя может представлять собой постукивание по кожуху оборудования фиксации изображений с помощью пальца и т.п., ввод голосовых команд, инструкцию из внешнего оборудования и т.п. Инструкция съемки, предоставленная посредством постукивания, представляет собой способ выдачи инструкций съемки, когда пользователь постукивает по кожуху оборудования фиксации изображений, для считывания последовательных высокочастотных ускорений за короткий период с помощью секции 209 обнаружения встряхивания оборудования и инициирования съемки. Ввод голосовых команд представляет собой способ выдачи инструкций съемки, когда пользователь произносит пароль (например, "Сфотографировать" и т.п.), для предоставления инструкции для предварительно определенной съемки, распознавания голоса с помощью секции 214 голосовой обработки и инициирования съемки. Инструкция из внешнего оборудования представляет собой способ съемки, который использует сигнал инструкции спуска затвора, отправленный через выделенное приложение, например, из смартфона и т.п., Bluetooth-соединенного с оборудованием фиксации изображений, в качестве триггера.
[0151] На этапе S908, выполняется определение автоматической съемки. При определении автоматической съемки, выполняются определение в отношении того, выполняется или нет автоматическая съемка, и определение в отношении способа съемки (определение в отношении того, что из одиночной съемки неподвижного изображения, непрерывной съемки (непрерывной экспозиции) неподвижных изображений, видеосъемки, панорамной съемки, замедленной съемки и т.п. выполняется).
[0152] Чтобы выполнять съемку объекта прямо перед глазами пользователя, возможна такая сцена, съемку которой пользователь выполняет при подталкивании оборудования фиксации изображений немного вперед при том, что оборудование фиксации изображений надето на пользователе. В такой сцене, например, требуется обычно выполнять съемку неподвижного изображения быстро. Чтобы выполнять съемку сценической зоны, возможна такая сцена, в которой пользователь держит оборудование фиксации изображений, висящее на шее, и выполняет съемку при подъеме оборудования фиксации изображений вверх и вперед. В такой сцене, например, даже когда панорамная съемка ожидается или нет, пользователь обучается в отношении такого способа съемки, когда изображение, полученное посредством панорамной съемки, предоставляется пользователю, и этот опыт использования может использоваться для будущей съемки. Следовательно, чтобы идентифицировать эти сцены, сцены идентифицируются, например, посредством определения расстояния перемещения оборудования фиксации изображений из удерживаемого состояния до съемки. Таким образом, предпочтительный способ съемки может варьироваться в зависимости от способа настройки оборудования фиксации изображений, так что способ съемки может изменяться согласно состоянию оборудования фиксации изображений во время переключения на съемку. Что касается цели пользователя в случае сцены, в которой объект размещается немного вверху, и оборудование фиксации изображений поднимается для того, чтобы выполнять съемку объекта, желательно выполнять съемку нормального неподвижного изображения быстро. Следовательно, чтобы выполнять эти идентификации, например, расстояние до объекта определяется. Таким образом, сцена может идентифицироваться. Таким образом, поскольку предпочтительный способ съемки может варьироваться в зависимости от состояния объекта, способ съемки может изменяться согласно состоянию оборудования фиксации изображений во время переключения на съемку и состоянию наблюдаемого объекта. Чтобы выполнять съемку вертикально длинного объекта перед глазами пользователя, предлагается состояние, в котором пользователь держит оборудование фиксации изображений, висящее на шее, и выполняет съемку при удерживании оборудования фиксации изображений ориентированным вверх. Возможна такая сцена, в которой изображение здания с лофтом снимается, например, на смотровой площадке. В такой сцене, например, даже когда вертикальная панорамная съемка ожидается или нет, пользователь обучается в отношении такого способа съемки, когда изображение, полученное посредством вертикальной панорамной съемки, предоставляется пользователю, и этот опыт использования может использоваться для дальнейшей съемки. Следовательно, в таком случае, угол удерживания определяется. Таким образом, сцена может идентифицироваться. Точность определения того, является предпочтительной вертикальная панорама или горизонтальная панорама, может повышаться посредством дополнительного определения, например, расстояния до объекта и расстояний до объекта в верхней, нижней, правой и левой зонах в качестве состояния объекта в это время. Другими словами, когда расстояние до объекта и расстояния до верхней и нижней зон объекта являются эквивалентными расстояниями, может определяться необходимость выполнять вертикальную панорамную съемку. Для круговой съемки, возможна такая сцена, в которой пользователь держит оборудование фиксации изображений, висящее на шее, и выполняет съемку при удерживании оборудования фиксации изображений ориентированным непосредственно выше. Возможна такая сцена, в которой, например, снимается изображение, показывающее состояние осматривания на вершине горы. В это время, есть возможность того, что, например, пользователь задает режим в качестве кругового режима съемки с помощью внешнего оборудования и предоставляет инструкцию съемки. Следовательно, например, в таком случае, когда пользовательский интерфейс для выяснения того, следует или нет переключаться на круговую съемку, предоставляется в то время, когда пользователь управляет внешним оборудованием, время и усилия для пользовательской операции могут уменьшаться. Кроме того, в то время как такая операция несколько раз повторяется, пользователь ожидает иметь возможность выполнять круговую съемку только посредством нажатия кнопки спуска затвора с внешним оборудованием, ориентированным непосредственно выше, без управления внешним оборудованием. Следовательно, в таком случае, например, круговая съемка выполняется, когда направление перемещения оборудования фиксации изображений из удерживаемого состояния до съемки представляет собой направление непосредственно вверх, время и усилия для съемки пользователя могут уменьшаться.
[0153] Таким образом, посредством изменения способа съемки на основе состояния оборудования фиксации изображений и состояния объекта, время и усилия пользователя во время съемки и во время проверки снятого изображения могут уменьшаться.
[0154] При таком определении способа съемки, который должен ожидаться на основе состояния оборудования фиксации изображений и состояния объекта, а также способа определения в "Определение в отношении того, выполняется или нет автоматическая съемка", способ съемки может определяться посредством определения на основе нейронной сети. В этом процессе определения, условие определения может изменяться в зависимости от пользователя через процесс обучения (описан ниже). В таком случае, множество изображений записываются с помощью множества способов съемки на начальной стадии обучения, и в процессе обучения (описан ниже), условие определения может изменяться согласно изображению, способ съемки которого предпочитает пользователь.
[0155] Таким образом, описывается определение способа съемки, подходящего для намерения пользователя в случае, если имеется инструкция съемки руководства пользователя. Такой процесс также является применимым в процессе определения автоматической съемки в случае, если отсутствует инструкция ручной съемки, аналогично S908b. Другими словами, когда определяется то, что оборудование фиксации изображений настраивается, способ съемки, который отражает намерение пользователя, может аналогично определяться посредством обнаружения способа настройки оборудования фиксации изображений.
[0156] Посредством мониторинга ускорения оборудования фиксации изображений, даже во время автоматической съемки, может обнаруживаться способ настройки оборудования фиксации изображений, и может определяться способ съемки, который отражает намерение пользователя.
[0157] (1) Определение в отношении того, следует или нет выполнять автоматическую съемку
Определение в отношении того, следует или нет выполнять автоматическую съемку, выполняется на основе следующих двух определений. Одно заключается в том, что, когда уровень важности превышает предварительно определенное значение на основе уровня важности для каждой из зон, полученных на этапе S904, осуществляется определение необходимости выполнять автоматическую съемку. Второй представляет собой определение на основе нейронной сети. В качестве примера нейронной сети, пример сети с многослойным перцептроном показывается на фиг. 12. Нейронная сеть используется для того, чтобы прогнозировать выходное значение из входных значений, и когда нейронная сеть обучается в отношении входных значений и выходного значения модели для вводов заранее, имеет возможность оценивать выходное значение согласно обученной модели для новых входных значений. Ниже описывается способ обучения. На фиг. 12, 1201 и следующие окружности, размещенные в столбце, представляют собой нейроны входного слоя, 1203 и следующие окружности, размещенные в столбце, представляют собой нейроны промежуточного слоя, и 1204 представляет собой нейрон выходного слоя. Стрелки, такие как 1202, представляют привязки, соединяющие нейроны. При определении на основе нейронной сети, объект, появляющийся в пределах текущего угла обзора или количества признаков на основе состояния сцены или оборудования фиксации изображений, предоставляется нейронам входного слоя в качестве вводов и значения, выводимого из выходного слоя через вычисления на основе правила распространения в прямом направлении многослойного перцептрона. Когда выходное значение превышает или равно пороговому значению, осуществляется определение необходимости выполнять автоматическую съемку. Признаки объекта представляют собой текущий коэффициент масштабирования, общий результат распознавания объектов в пределах текущего угла обзора, результат обнаружения лиц, число лиц, содержащихся в пределах текущего угла обзора, степень улыбки и степень закрытия глаз каждого лица, лицевой угол, идентификационный номер для идентификации по лицу, угол линии прямой видимости человека-объекта, результат идентификации сцен, обнаруженный результат конкретной композиции и т.п. Может использоваться истекшее время от последней съемки, текущее время, информация GPS-позиции, варьирование относительно последней позиции съемки, текущий уровень голоса, говорящий человек, то, имеется либо нет хлопание или ободряющее восклицание, и т.п. Может использоваться информация вибраций (информация ускорения, состояние оборудования фиксации изображений), информация окружения (температура, атмосферное давление, освещенность, влажность, количество ультрафиолетового света) и т.п. Кроме того, когда информация предоставляется из носимого устройства 501, предоставляемая информация (информация движения пользователя, информация относительно действия руки, биологическая информация, к примеру, частота сердцебиений и т.п.) может использоваться в качестве признаков. Эти признаки преобразуются в числовые значения в пределах предварительно определенного диапазона и предоставляются нейронам входного слоя в качестве количеств признаков. Следовательно, нейроны входного слоя требуются в числе, идентичном числу количеств признаков, которые должны использоваться.
[0158] При определении на основе нейронной сети, выходное значение варьируется посредством изменения привязывающих весовых коэффициентов между нейронами через процесс обучения (описан ниже), и результат определения может быть адаптирован к результату обучения.
[0159] Определение для автоматической съемки также варьируется в зависимости от условия запуска главного процессора, загруженного на этапе 702 по фиг. 7. Например, в случае запуска на основе обнаружения постукивания или запуска на основе конкретной голосовой команды, имеется очень высокая вероятность того, что она представляет собой операцию, при которой пользователь хочет выполнять съемку в данный момент. Следовательно, частота съемки задается таким образом, что она увеличивается.
[0160] (2) Определение способа съемки
При определении способа съемки, определение в отношении того, что из съемки неподвижных изображений, видеосъемки, непрерывной съемки, панорамной съемки и т.п. выполняется, на основе состояния оборудования фиксации изображений и состояния окружающего объекта, обнаруженных на этапе S901-S904. Например, съемка неподвижных изображений выполняется, когда объект (человек) является статическим, и видеосъемка или непрерывная съемка выполняется, когда объект перемещается. Когда множество объектов присутствуют в окрестности оборудования фиксации изображений, или определяется нахождение в сценической зоне на основе вышеописанной GPS-информации, может выполняться процесс панорамной съемки для формирования панорамного изображения посредством комбинирования последовательно снятых изображений при панорамировании/наклоне. Как и в случае способа определения в "Определение в отношении того, следует или нет выполнять автоматическую съемку", способ съемки может определяться посредством определения на основе нейронной сети с использованием различных фрагментов информации, обнаруженных перед съемкой, и в процессе определения, условие определения может изменяться через процесс обучения (описан ниже).
[0161] Когда на этапе S909 определяется необходимость выполнять съемку, возникающую в результате определения автоматической съемки S908, процесс переходит к этапу S910; иначе, процесс переходит к концу процесса в режиме съемки.
[0162] На этапе S910, автоматическая съемка начинается. В это время, съемка с использованием способа съемки, определенного на этапе S908, начинается. В это время, управление автофокусировкой выполняется посредством секции 204 управления фокусировкой. Управление экспозицией для настройки объекта на соответствующую яркость выполняется посредством использования секции управления экспозицией, секции управления коэффициентом усиления датчика и секции управления затвором (не показаны). Помимо этого, после съемки, секция 207 обработки изображений формирует изображение посредством выполнения различной обработки изображений, такой как автоматическая балансировка белого, уменьшение уровня шума и гамма-коррекция.
[0163] Во время съемки, может использоваться способ, когда предварительно определенное условие удовлетворяется, для выполнения процесса уведомления человека, который должен сниматься, в отношении того, что оборудование фиксации изображений выполняет съемку, и затем съемки. Способ уведомления, например, может использовать голос из секции 218 голосового вывода или светодиодный мигающий свет, сформированный посредством секции 224 управления светодиодами, или выполнять движение для того, чтобы визуально направлять линию прямой видимости объекта посредством панорамирования/наклона. Предварительно определенное условие, например, представляет собой число лиц в пределах угла обзора, степень улыбки и степень закрытия глаз каждого лица, угол линии прямой видимости или лицевой угол человека-объекта, идентификационный номер для идентификации по лицу, число людей с зарегистрированной персональной идентификацией и т.д. Предварительно определенное условие также представляет собой общий результат распознавания объектов во время съемки, результат идентификации сцен, истекшее время от последней съемки, время съемки, то, представляет собой или нет текущая позиция на основе GPS-информации сценическую зону, уровень голоса во время съемки, то, имеется или нет говорящий человек, то, имеется либо нет хлопание или ободряющее восклицание, и т.п. Предварительно определенное условие также представляет собой информацию вибраций (информацию ускорения, состояние оборудования фиксации изображений), информацию окружения (температуру, атмосферное давление, освещенность, влажность, количество ультрафиолетового света) и т.п. Когда уведомленная съемка выполняется на основе этих условий, изображение, имеющее предпочтительные глаза для камеры, может записываться в очень важной сцене.
[0164] Альтернативно, могут предоставляться множество предварительно определенных условий, и согласно условиям, может изменяться голос, может изменяться способ светодиодного освещения (к примеру, цвет и время мигания), либо может изменяться способ движения при панорамировании/наклоне (способ движения и скорость приведения в действие).
[0165] Кроме того, для такого уведомления перед съемкой, способ или время уведомления может определяться через информацию относительно снятого изображения или определение на основе нейронной сети с использованием различных фрагментов информации, обнаруженных перед съемкой. В этом процессе определения, условие определения может изменяться через процесс обучения (описан ниже).
[0166] На этапе S911, выполняется процесс редактирования, в котором изображение, сформированное на этапе S910, обрабатывается или добавляется в движущееся изображение. Обработка изображений, в частности, представляет собой обрезку на основе лица человека или фокальной позиции, вращение изображения, эффект HDR (расширенного динамического диапазона), эффект размытия, эффект фильтра преобразования цветов и т.п. В обработке изображений, множество изображений могут формироваться на основе изображения, сформированного на этапе S910 посредством использования комбинаций вышеописанных процессов, и сформированные изображения могут быть сохранены отдельно от изображения, сформированного на этапе S910. В обработке движущихся изображений, может выполняться процесс добавления снятого движущегося изображения или неподвижного изображения в сформированное отредактированное движущееся изображение при применении спецэффектов скольжения, масштабирования и постепенного исчезновения. Также при редактировании на этапе S911, способ обработки изображений может определяться через информацию относительно снятого изображения или определение на основе нейронной сети с использованием различных фрагментов информации, обнаруженных перед съемкой, и в этом процессе определения, условие определения может изменяться через процесс обучения (описан ниже).
[0167] На этапе S912, выполняется процесс формирования информации обучения снятого изображения. Здесь, информация, которая используется в процессе обучения (описан ниже), формируется и записывается. В частности, информация представляет собой коэффициент масштабирования во время съемки, общий результат распознавания объектов во время съемки, результат обнаружения лиц, число лиц, содержащихся в снятом изображении, степень улыбки и закрытие глаз каждого лица, лицевой угол, идентификационный номер для идентификации по лицу, угол линии прямой видимости человека-объекта и т.п., в текущем снятом изображении. Информация также представляет собой результат идентификации сцен, истекшее время от последней съемки, время съемки, информацию GPS-позиции, варьирование относительно последней позиции съемки, уровень голоса во время съемки, говорящего человека, то, имеется либо нет хлопание или ободряющее восклицание, и т.п. Информация также представляет собой информацию вибраций (информацию ускорения, состояние оборудования фиксации изображений), информацию окружения (температуру, атмосферное давление, освещенность, влажность, количество ультрафиолетового света), время видеосъемки, то, основана она или нет на инструкции ручной съемки, и т.п. Помимо этого, также вычисляется количественный показатель, который представляет собой вывод нейронной сети и который оцифровывается из пользовательских предпочтений изображения.
[0168] Эти фрагменты информации формируются и записываются в файле со снятыми изображениями в качестве информации тегов. Альтернативно, фрагменты информации относительно снятых изображений могут записываться в энергонезависимое запоминающее устройство 216 или сохраняться на носителе 221 записи в формате списка в качестве так называемых данных каталога.
[0169] На этапе S913, обновляется информация предыдущих съемок. В частности, число изображений, снятых для каждой зоны, число изображений, снятых для каждого человека с зарегистрированной персональной идентификацией, число изображений для каждого объекта, распознанного через общее распознавание объектов, или число изображений, снятых для каждой сцены в идентификации сцен, описанной на этапе S908, ассоциированной с текущим снятым изображением, увеличивается на одну единицу.
[0170] Пример ручной съемки через распознавание голоса
Как описано на этапе S907 по фиг. 9, инструкция (ручной) съемки пользователя также включает в себя инструкцию на основе ввода голосовых команд. Ввод голосовых команд включает в себя ввод голосовых команд в случае, если пользователь хочет снимать изображение, содержащее непосредственно пользователя (например, "Сфотографировать меня" и т.п.). После этого, в процессе поиска с использованием панорамирования/наклона или масштабирования, поиск выполняется для говорящего объекта, изображение, в котором объект, который произносит голосовую команду, включается в угол обзора при съемке, снимается.
[0171] В дальнейшем описывается съемка непосредственно пользователя с использованием голосовой команды со ссылкой на блок-схему последовательности операций способа, показанную на фиг. 24. Фиг. 24 является процессом, который выполняет определение в рамках процесса на этапе S907 по фиг. 9.
[0172] В рамках процесса выдачи инструкций ручной съемки по S907, определяется то, основана или нет съемка на вводе голосовых команд. На этапе S2401, определяется то, обнаруживается или нет конкретный ввод голосовых команд (например, "Сфотографировать меня" и т.п.) посредством секции 214 голосовой обработки. Когда голосовая команда не обнаруживается, процесс переходит к этапу S2416, и процесс определения съемки с ручным голосовым управлением завершается без выполнения определения ручной съемки. Когда голосовая команда обнаруживается на этапе S2401, процесс переходит к этапу S2402.
[0173] На этапе S2402, вычисляется направление звука, из которого обнаруживается голосовая команда, и вычисляются первое направление звука, второе направление звука, третье направление звука или четвертое направление звука в порядке убывания степени доверия направления звука в качестве возможного варианта. Когда точность обнаружения направления звука является очень высокой, множество возможных вариантов не должно обязательно вычисляться, либо последующий процесс поиска и т.п. не должен обязательно выполняться. Тем не менее, шум может быть включен в обнаруженное направление звука вследствие состояния окружающего шума во время обнаружения голосовой команды, влияния окружения объектов, такого как отражение звука и т.п., так что вычисляется множество возможных вариантов.
[0174] В частности, возможные варианты вычисляются из всех обнаруженных значений направления звука, обнаруженных ко времени за предварительно определенное время до момента времени, в который обнаруживается голосовая команда. Время для произнесения голосовой команды, зарегистрированной заранее, может прогнозироваться до определенной степени (например, когда "Сфотографировать меня" представляет собой команду, время, которое требуется для того, чтобы произносить команду, задается заранее в качестве параметра). Первый пик 2501 задается в качестве первого направления звука, и второй пик 2502 задается в качестве второго направления звука в процессе с помощью гистограммы, как показано на фиг. 25, из всех обнаруженных значений направления звука, обнаруженных в течение предварительно определенного времени. Первое направление звука и второе направление звука вычисляются, и процесс переходит к этапу S2405.
[0175] На этапе S2403, определяется то, задается или нет повторение панорамирования/наклона. Для задания повторения панорамирования/наклона, повторение панорамирования/наклона задается на этапе S2415 в дальнейшем, и определение повторения панорамирования/наклона не выполняется в момент времени, в который начинается процесс определения съемки с ручным голосовым управлением этой последовательности операций. Когда повторение панорамирования/наклона не задается на этапе S2403, процесс переходит к этапу S2404, первое направление звука, вычисленное на этапе S2402, задается в качестве направления звука. Когда на этапе S2403 определяется то, что повторение панорамирования/наклона задается, процесс переходит к этапу S2405, и второе направление звука, вычисленное на этапе S2404, задается в качестве направления звука. Когда процессы S2404 и S2405 завершаются, процесс переходит к этапу S2406.
[0176] На этапе S2406, определяется то, выходит или нет разность между заданным направлением звука и текущим углом панорамирования/наклона за пределы предварительно определенного диапазона, т.е. то, выходит или нет разность между направлением звука и текущим центром угла обзора за пределы предварительно определенного диапазона. Когда разность выходит за пределы предварительно определенного диапазона, процесс переходит к этапу S2407, камера панорамируется/наклоняется, чтобы регулировать угол панорамирования/наклона таким образом, что обнаруженное направление звука поступает в центр угла обзора, и процесс переходит к этапу S2408. Когда разность между направлением звука и текущим центром угла обзора попадает в пределы предварительно определенного диапазона на этапе S2406, направление звука расположено около центра в пределах угла обзора, так что процесс переходит к этапу S2408 без панорамирования или наклона.
[0177] На этапе S2408, определяется то, попадает или нет основной объект в пределы текущего угла обзора, через обработку и анализ изображений для снятого изображения. Конкретный способ определения описывается следующим образом.
[0178] (1) Обнаружение основного объекта через сверточную нейронную сеть
Обнаружение основного объекта через сверточную нейронную сеть известно как общий способ на основе машинного обучения для процесса распознавания изображений. Через сверточную нейронную сеть, присутствие или отсутствие обнаруженного основного объекта (говорящего объекта) получается, и когда основной объект присутствует, информация позиции в изображении также получается. Альтернативно, определение основного объекта может выполняться через сверточную нейронную сеть для каждого изображения, обрезающего зону каждого человека, на основе результатов обнаружения лиц и обнаружения тела, и основной объект может оцениваться. Эта сверточная нейронная сеть подготавливается в качестве нейронной сети, обученной заранее на основе изображений людей, которые произносят голосовые команды; тем не менее, сверточная нейронная сеть может обучаться при использовании в способе, который описывается ниже.
[0179] (2) Обнаружение основного объекта через нейронную сеть
Предусмотрен способ выполнения определения основного объекта относительно каждого человека посредством использования количеств признаков объекта в качестве вводов для каждого человека, содержащегося в пределах текущего угла обзора. В этом случае, не только черты лица, такие как результат определения выражения лица, степень закрытия глаз, лицевой угол, идентификационный номер для идентификации по лицу и угол линии прямой видимости человека-объекта, но также и результат определения жестов, результат определения сцен с изображениями, текущий уровень звука, результат определения звуковых сцен и т.п., могут использоваться в качестве признака, который должен вводиться. Эта нейронная сеть также представляет собой нейронную сеть, обученную на основе количеств признаков объектов на основе изображений людей, которые произносят голосовые команды; тем не менее, нейронная сеть может обучаться при использовании в способе, который описывается ниже.
[0180] (3) Обнаружение объекта посредством определения признаков каждого человека
Поскольку объект только что произнес голосом в направлении оборудования 101 фиксации изображений, имеется очень высокая вероятность того, что объект обращен к камере. Следовательно, весовые коэффициенты могут назначаться обнаруженным результатам идентификационного номера для идентификации по лицу, результату выражения лица, лицевому углу, направлению линии прямой видимости и результату определения жестов, и определение может выполняться просто. Когда идентификатор идентификации по лицу уже регистрируется, имеется высокая вероятность того, что человек представляет собой основной объект. Когда степень улыбки выражения лица является высокой, имеется высокая вероятность того, что человек представляет собой основной объект. Когда лицевой угол или направление линии прямой видимости направляется к камере, имеется высокая вероятность того, что человек представляет собой основной объект. Когда жест (например, жестикуляция руками в камеру и т.п.) выполняется, имеется высокая вероятность того, что человек представляет собой основной объект. Основной объект может оцениваться посредством использования любого одного или более фрагментов информации.
[0181] То, присутствует или нет основной объект в пределах текущего угла обзора, может определяться посредством использования любого из способов или может определяться посредством использования комбинации двух или более из (1)-(3).
[0182] После того, как анализ изображений выполняется на этапе S2408, процесс переходит к этапу S2409, и определяется то, находится или нет основной объект в процессе по S2408. Когда на этапе S2409 определяется то, что основной объект присутствует, процесс переходит к этапу S2410. На этапе S2410, регулирование композиции выполняется посредством масштабирования или панорамирования/наклона, и процесс переходит к этапу S2411. Определение композиции, подходящей для съемки изображения, содержащего основной объект, может выполняться через определение с использованием нейронной сети. Выходное значение варьируется посредством изменения привязывающих весовых коэффициентов между нейронами через процесс обучения (описан ниже), и результат определения может быть адаптирован к результату обучения.
[0183] На этапе S2411, определяется то, что имеется инструкция ручной съемки, и процесс переходит к этапу S2416. Процесс съемки с ручным голосовым управлением завершается, и процесс переходит к этапу S910 на фиг. 9, и после этого съемка начинается.
[0184] Когда на этапе S2409 определяется то, что отсутствует основной объект в пределах текущего угла обзора, процесс переходит к этапу S2412.
[0185] На этапе S2412, определяется то, истекло или нет предварительно определенное время от момента, когда панорамирование/наклон завершены на этапе S2407. Когда на этапе S2406 уже определяется то, что разность между направлением звука и текущим центром угла обзора попадают в пределы предварительно определенного диапазона, определяется нахождение на основе истечения времени от определенного момента времени. Здесь, когда предварительно определенное время не истекло, процесс переходит к этапу S2413, и выполняется поиск с использованием масштабирования. Когда объект, который произносит голосовую команду, является очень небольшим в пределах угла обзора, размер лица является небольшим, и разрешение лица также низким, так что это может затрагивать точность обнаружения на основе анализа изображений. Следовательно, в этом случае, камера увеличивает масштаб, чтобы сужать угол обзора, и процесс с этапа S2408 выполняется снова. Когда объект, который произносит голосовую команду, является слишком большим в пределах угла обзора, полное изображение человека не может наблюдаться и не может определяться с учетом, например, выполнения жеста и т.п. Следовательно, камера уменьшает масштаб, чтобы расширять угол обзора, и процесс с этапа S2408 выполняется снова.
[0186] Когда на этапе S2412 определяется то, что предварительно определенное время истекло от завершения панорамирования/наклона, определяется то, что отсутствует объект, который произносит голосовую команду, в заданном направлении звука. После этого, для того, чтобы выполнять поиск следующего возможного варианта направления звука, процесс переходит к этапу S2414, и определяется то, выполнена или нет операция повторения панорамирования/наклона до этого. Когда повторение не выполнено, процесс переходит к этапу S2415, и повторение панорамирования/наклона задается, и после этого процесс возвращается на этапе S2403. В это время, поскольку повторение панорамирования/наклона задается, угол обзора задается в направлении звука, которое представляет собой второе направление звука по S2405 посредством определения по S2403, и процесс поиска основного объекта выполняется снова. В примере по фиг. 24, способ поиска двух возможных вариантов, т.е. первого направления звука и второго направления, показывается; тем не менее, третье или четвертое направление может обнаруживаться, и повторение может выполняться снова.
[0187] Когда на этапе S2414 определяется то, что повторение панорамирования/наклона уже выполнено, процесс переходит к этапу S2416, и процесс определения съемки с ручным голосовым управлением завершается без выполнения определения ручной съемки. В это время, для того, чтобы информировать пользователя в отношении того, что съемка не выполняется, хотя голосовая команда обнаруживается, способ выполнения процесса выдачи уведомлений может осуществляться. Способ уведомления, например, может использовать голос из секции 218 голосового вывода или светодиодный мигающий свет, сформированный посредством секции 224 управления светодиодами. Способ уведомления может представлять собой выполнение движения для того, чтобы визуально направлять линию прямой видимости объекта посредством панорамирования/наклона, или может представлять собой способ предоставления связи и уведомления в интеллектуальное устройство 301 или носимое устройство 501.
[0188] На фиг. 24, описывается съемка, получающаяся в результате выполнения, пользователем, ввода голосовых команд в случае, если пользователь хочет снимать изображение, содержащее непосредственно пользователя. Тем не менее, ввод голосовых команд может представлять собой ввод голосовых команд в случае, если пользователь хочет регистрировать непосредственно пользователя в качестве основного объекта (например, "Зарегистрировать меня", "Отслеживать меня" и т.п.). В этом случае, в вышеописанном процессе поиска, поиск осуществляется для объекта, который произносит голосом, и объект регистрируются. Когда объект регистрируется, автоматическая съемка выполняется посредством фокусировки на зарегистрированном объекте в дальнейшем. Съемка может выполняться в то время, когда зарегистрированный объект постоянно поддерживается в пределах угла обзора посредством панорамирования/наклона или масштабирования.
[0189] Когда голосовая команда для регистрации объекта вводится, регистрация объекта может реализовываться посредством изменения процесса на этапе S2411 на процесс регистрации объекта в рамках процесса по фиг. 24.
[0190] Когда объект также регистрируется, процесс обнаружения и регистрации выполняется посредством панорамирования/наклона или масштабирования таким образом, что угол обзора обеспечивает возможность простой регистрации на основе идентификации по лицу, и регистрация обнаруженного цвета носимой одежды и т.п. легко выполняется.
[0191] Когда оборудование 101 фиксации изображений не имеет монитора, зарегистрированный объект не может проверяться. Следовательно, как показано на фиг. 26, тот факт, что объект регистрируется, может информироваться в интеллектуальное устройство 301, или данные изображений зарегистрированного объекта могут отправляться, чтобы обеспечивать возможность пользователю выполнять проверку.
[0192] Когда объект регистрируется, данные, предоставляющие уведомление 2602 в отношении того, что регистрация может наблюдаться, отправляются посредством средства 222 связи в интеллектуальное устройство 301 через связь 2601. Когда пользователь проверяет объект посредством управления интеллектуальным устройством 301, оборудование 101 фиксации изображений отправляет 2603 данные изображений и инструктирует интеллектуальному устройству отображать объект 2604, зарегистрированный в интеллектуальном устройстве, так что пользователь может выполнять проверку. Отображение, которое может проверять пользователь, может представлять собой такое отображение, что изображение, связанное с зарегистрированным объектом 2604, накладывается в рамке с лицом или рядом (под) рамкой с лицом, чтобы указывать то, что оборудование 101 фиксации изображений идентифицирует лицо. Связанное изображение может отображаться во время видеосъемки или может отображаться во время воспроизведения видео.
[0193] Посредством предоставления зарегистрированного объекта таким образом, что пользователь может выполнять проверку таким способом, даже если зарегистрированный объект является неправильным, пользователю может указываться необходимость регистрировать объект снова. Поскольку может определяться то, является он корректным или некорректным, зарегистрированный объект может изучаться и варьироваться посредством процесса обучения, который описывается ниже.
[0194] В настоящем варианте осуществления, описываются съемка в направлении звука и регистрация объекта через ввод голосовых команд с использованием панорамирования/наклона и масштабирования; тем не менее, съемка и регистрация объекта могут выполняться только посредством использования панорамирования/наклона, или съемка и регистрация объекта могут выполняться только посредством использования масштабирования.
[0195] Когда только панорамирование/наклон используется, S2412 и S2413 не выполняются на фиг. 24.
[0196] Когда только масштабирование используется, после того, как направление звука обнаруживается, масштабирование задается таким образом, что направление звука попадает в угол обзора, и поиск выполняется для основного объекта с масштабированием. Таким образом, выполняются съемка и регистрация объекта.
[0197] Процесс в автоматическом режиме редактирования (видео с основными моментами)
Далее описывается процесс в автоматическом режиме редактирования (видео с основными моментами) в настоящем варианте осуществления.
[0198] При определении режима, который должен задаваться, на этапе 704 по фиг. 7, определяется то, следует или нет выполнять автоматический процесс редактирования (видео с основными моментами). Когда определяется необходимость выполнять автоматический процесс редактирования, выполняется процесс в автоматическом режиме редактирования этапа 712.
[0199] В дальнейшем описывается условие определения для автоматического режима редактирования. То, следует или нет переключаться в автоматический режим редактирования, определяется на основе истекшего времени от последнего процесса редактирования или информации тегов (такой как информация обучения и количественный показатель, оцифровывающий пользовательские предпочтения изображения) каждого изображения, снятого после момента времени, в который последний процесс редактирования выполняется. Последовательность операций процесса определения в отношении того, следует или нет переключаться в автоматический режим редактирования, который определяется в процессе определения задания режима этапа 704, показывается на фиг. 10.
[0200] Когда инструкция для того, чтобы начинать определение автоматического режима, редактирования выдается в процессе определения задания режима этапа 704, процесс по фиг. 10 начинается. На этапе 1001, получается истекшее время TimeD от момента, когда последний процесс автоматического редактирования выполняется, и процесс переходит к этапу 1002. На этапе 1002, получаются информация обучения, количественный показатель и т.п., ассоциированные с каждым изображением, снятым после момента времени, в который последний процесс редактирования выполняется, и процесс переходит к этапу 1003. На этапе 1003, значение DB оценки для определения того, следует или нет выполнять автоматическое редактирование, вычисляется из данных, полученных на этапе 1002. Способ вычисления значения оценки, например, заключается в том, чтобы извлекать признаки изображения из каждого фрагмента информации изображений, и когда предусмотрено множество типов признаков, назначать более высокие баллы. Как описано в вышеуказанной автоматической съемке, количественный показатель, определенный для пользовательских предпочтений, вычисляется для каждого изображения, и более высокие баллы назначаются изображению, имеющему более высокий количественный показатель. Более высокие баллы вычисляются по мере того, как число снятых изображений увеличивается. Таким образом, значение оценки зависит от того, насколько высокими являются баллы количественного показателя, зависит от числа изображений и зависит от типов признаков. Процесс переходит к этапу 1004. На этапе 1004, пороговое значение DA вычисляется из TimeD. Например, пороговое значение DAa в случае, если TimeD меньше предварительно определенного значения, задается таким образом, что оно превышает пороговое значение DAb в случае, если TimeD превышает предварительно определенное значение, и пороговое значение задается таким образом, что оно уменьшается во времени. Таким образом, даже в случае, если данные снятых изображений являются небольшими, автоматический процесс редактирования выполняется, когда истекшее время является длительным, так что в итоге оборудование фиксации изображений выполнено с возможностью автоматически создавать видео с основными моментами согласно времени использования.
[0201] Когда процесс этапа 1004 завершается, процесс переходит к этапу 1005. Когда значение DB оценки превышает пороговое значение DA, процесс переходит к этапу 1006. Поскольку это представляет собой случай, в котором после момента времени, в который выполняется последнее автоматическое редактирование, данные, которые должны автоматически редактироваться, получаются, либо определяется необходимость выполнять автоматическое редактирование вследствие длительного истекшего времени, автоматический режим редактирования задается как истинный, и определение автоматического режима редактирования завершается. Когда значение DB оценки меньше или равно пороговому значению DA на этапе 1005, определяется то, что данные, которые должны автоматически редактироваться, недоступны, так что определение автоматического режима редактирования задается как ложное таким образом, что автоматический процесс редактирования не выполняется, и процесс определения автоматического режима редактирования завершается.
[0202] Далее описывается процесс в процессе в автоматическом режиме редактирования (этап 712). Подробная последовательность операций процесса в автоматическом режиме редактирования показывается на фиг. 11.
[0203] На этапе S1101, процесс выбора из числа неподвижных изображений и движущихся изображений, сохраненных на носителе 221 записи, выполняется в первой секции 223 управления, чтобы выбирать изображения, которые должны использоваться в редактировании, и процесс переходит к этапу S1102.
[0204] Процесс выбора изображения здесь заключается в том, чтобы извлекать метаданные, такие как число лиц, размер каждого лица и цветовые группы, в снятом неподвижном или движущемся изображении для каждого изображения, преобразовывать метаданные в значение оценки и перечислять изображения, имеющие значение оценки, большее или равное заданному пороговому значению. Отношение выбора между неподвижным изображением и движущимся изображением определяется посредством обучения (описано ниже), и выбор предпочтительно выполняется с учетом настроек пользователя, частоты съемки и настроек.
[0205] На этапе S1102, эффекты изображений применяются посредством первой секции 223 управления и секции 207 обработки изображений к изображениям, выбранным на этапе S1101, и процесс переходит к этапу S1103.
[0206] Применение эффектов изображений здесь представляет собой обрезку на лице человека или в центре фокальной позиции, вращение изображения, эффект HDR (расширенного динамического диапазона), эффект размытия, спецэффекты скольжения, масштабирования и постепенного исчезновения, эффект цветного светофильтра и т.п., в неподвижном изображении.
[0207] Кроме того, в движущемся изображении, цветной светофильтр применяется аналогичным образом.
[0208] На этапе S1103, время воспроизведения изображений задается в первой секции 223 управления, и процесс переходит к этапу S1104. Соответствующее время воспроизведения изображений задается на основе обучения (описано ниже) для создания видео с основными моментами, которое описывается на этапе S1105, посредством использования изображений, выбранных на этапе S1101.
[0209] На этапе S1104, музыка (BGM), которая должна применяться к видео с основными моментами, которое описывается на этапе S1105, задается в первой секции 223 управления, и процесс переходит к этапу S1105. Кроме того, для настройки музыки (BGM), наиболее подходящая BGM, которая должна предоставляться пользователю, задается на основе результата обучения (описано ниже).
[0210] На этапе S1105, последовательность создания видео с основными моментами выполняется с использованием результатов S1101-S1104, выполняемых в первой секции 223 управления. Созданное видео с основными моментами сохраняется на носителе 221 записи.
[0211] Вышеописанный выбор изображений, применение эффектов изображений, время воспроизведения и BGM-выбор могут определяться посредством определения на основе нейронной сети посредством использования информации тегов (информации относительно снятого изображения или различных фрагментов информации, обнаруженных перед съемкой), добавляемой в каждое изображение. В этом процессе определения, условие определения может изменяться через процесс обучения (описан ниже).
[0212] Процесс в автоматическом режиме удаления файлов
Далее описывается процесс в автоматическом режиме удаления файлов в настоящем варианте осуществления.
[0213] В настоящем варианте осуществления, когда отсутствует доступная емкость на носителе записи, съемка не может выполняться, и возникают такие проблемы, что съемка не может выполняться в ответ на намерение пользователя, или намеченная сцена не может сниматься в автоматической съемке. Изображения могут удаляться через пользовательскую операцию; тем не менее, это усложняется. Следовательно, снятое изображение, которое удовлетворяет условию, должно автоматически удаляться в процессе, который описывается ниже. С другой стороны, пользователь может удалять изображения, которые требуются в дальнейшем, так что соответствующие изображения должны выбираться и удаляться.
[0214] В дальнейшем описывается процесс посредством примера последовательности операций процесса в автоматическом режиме удаления файлов по фиг. 29.
[0215] На этапе S2901, проверяется доступная емкость на носителе записи. На этапе S2902, целевое число изображений, которые должны удаляться, определяется согласно доступной емкости на носителе записи. Например, целевое число изображений, которые должны удаляться, задается таким образом, что оно увеличивается по мере того, как доступная емкость уменьшается, и задается таким образом, что оно увеличивается по мере того, как заданная частота съемки увеличивается. Целевое число изображений, которые должны удаляться, может варьироваться согласно обучению (описано ниже). На этапе S2903, создается список снятых изображений, сохраненных на носителе записи и отсортированных в порядке убывания количественного показателя, оцифровывающего пользовательские предпочтения изображения (описано ниже). Из S2904, определяется то, удаляется или нет изображение по одному с начала отсортированного списка к концу, и процесс удаления выполняется. На этапе S2905, определяется то, удовлетворяет или нет намеченное изображение в списке условию удаления.
[0216] Условие удаления, например, может представлять собой тот факт, что изображение не представляет собой изображение, снятое вручную пользователем, либо тот факт, что изображение не представляет собой изображение, высоко ценимое пользователем. Они представляют собой изображения, которые нравятся пользователю либо могут требоваться в дальнейшем, так что они предпочтительно исключаются из условия удаления.
[0217] Может использоваться тот факт, что изображение уже передано во внешнее оборудование связи, такое как интеллектуальное устройство, в автоматическом режиме передачи, тот факт, что пользователь не просматривает изображение из внешнего оборудования связи, и т.п. Когда изображение уже передается, передаваемое изображение является применимым, так что удаление изображения с меньшей вероятностью приводит к неудобству пользователя. Автоматически снятое изображение, которое пользователь не просматривал даже один раз, не распознается пользователем, так что возможно, что пользователь не ощущает неудобство, даже когда изображение удаляется. Когда изображение удовлетворяет условию удаления, процесс переходит к этапу S2906, изображение удаляется, и процесс переходит к этапу S2907. Когда изображение не удовлетворяет условию, процесс переходит к этапу S2907 без удаления изображения. На этапе S2907, определяется то, достигается или нет целевое число изображений, которые должны удаляться. Когда целевое число достигается, процесс в автоматическом режиме удаления завершается. Когда целевое число не достигается, процесс возвращается на этапе S2904, и процесс последовательно повторяется для следующего изображения в списке. Когда отсутствуют изображения, которые должны обрабатываться в списке на этапе S2904, процесс завершается.
[0218] Процесс в режиме обучения
Далее описывается обучение, адаптированное к пользовательским предпочтениям в настоящем варианте осуществления.
[0219] В настоящем варианте осуществления, используется нейронная сеть, как показано на фиг. 12, и обучение, адаптированное к пользовательским предпочтениям, выполняется в секции 219 обработки при обучении с использованием алгоритма машинного обучения. Нейронная сеть используется для того, чтобы прогнозировать выходное значение из входных значений. Когда нейронная сеть обучается в отношении статистических значений для входных значений и статистических значений для выходного значения заранее, нейронная сеть имеет возможность оценивать выходное значение для новых входных значений. Посредством использования нейронной сети, обучение, адаптированное к пользовательским предпочтениям, выполняется для вышеописанной автоматической съемки, автоматического редактирования и поиска объекта.
[0220] Регистрация объекта (идентификация по лицу, общее распознавание объектов и т.п.), которая представляет собой данные признаков, которые должны вводиться в нейронную сеть, регистрируется, и управление выдачей уведомлений при съемке, управление режимом низкого потребления электрической мощности и автоматическое удаление файлов изменяются посредством обучения.
[0221] В настоящем варианте осуществления, элементы, которые должны обучаться посредством процесса обучения, являются следующими.
[0222] (1) Автоматическая съемка
В дальнейшем описывается обучение для автоматической съемки. В автоматической съемке, выполняется обучение для автоматической съемки изображения, которое совпадает с пользовательскими предпочтениями. Как описано со ссылкой на последовательность операций по фиг. 9, процесс формирования информации обучения выполняется после съемки (этап S912). Изображения, которые должны обучаться через способ (описан ниже), выбираются, и обучение выполняется посредством изменения весовых коэффициентов нейронной сети на основе информации обучения, включенной в изображения. Обучение выполняется посредством изменения нейронной сети, которая определяет время автоматической съемки, и изменения нейронной сети, которая определяет способ съемки (съемка неподвижных изображений, видеосъемка, непрерывная съемка, панорамная съемка и т.п.).
[0223] (2) Автоматическое редактирование
В дальнейшем описывается обучение для автоматического редактирования. Для автоматического редактирования, обучение выполняется для каждого из редактирования сразу после съемки на этапе 911 по фиг. 9 и редактирования видео с основными моментами, описанного на фиг. 11. В дальнейшем описывается редактирование сразу после съемки. Изображения, которые должны обучаться через способ (описан ниже), выбираются, и обучение выполняется посредством изменения весовых коэффициентов нейронной сети на основе информации обучения, включенной в изображения. Различные фрагменты обнаруженной информации, полученной из информации при съемке или непосредственно перед съемкой, вводятся в нейронную сеть, и определяется способ редактирования (обрезка, вращение изображения, эффект HDR (расширенного динамического диапазона), эффект размытия, эффект фильтра преобразования цветов и т.п.). В дальнейшем описывается редактирование видео с основными моментами. Для видео с основными моментами, выполняется обучение для автоматического создания видеоальбома, который совпадает с пользовательскими предпочтениями. Изображения, которые должны обучаться через способ (описан ниже), выбираются, и обучение выполняется посредством изменения весовых коэффициентов нейронной сети на основе информации обучения, включенной в изображения. Различные фрагменты обнаруженной информации, полученной из информации в съемке или непосредственно перед съемкой, вводятся в нейронную сеть, и определяется применение эффекта изображений (обрезки, вращения, HDR-эффекта, эффекта размытия, скольжения, масштабирования, постепенного исчезновения, эффекта фильтра преобразования цветов, BGM, времен, отношения числа неподвижных изображений к числу движущихся изображений).
[0224] (3) Поиск объекта
В дальнейшем описывается обучение для поиска объекта. Для поиска объекта, выполняется обучение для автоматического поиска объекта, который совпадает с пользовательскими предпочтениями. Как описано со ссылкой на последовательность операций по фиг. 9, в процессе поиска объекта (этап S904), уровень важности каждой зоны вычисляется, камера панорамируется/наклоняется или масштабируется, и поиск объекта выполняется. Обучение выполняется на основе снятого изображения и обнаруженной информации во время выполнения поиска, и обучение выполняется посредством изменения весовых коэффициентов нейронной сети. Поиск объекта, который отражает обучение, выполняется посредством ввода различных фрагментов обнаруженной информации во время операции поиска в нейронную сеть, вычисления уровня важности и настройки угла панорамирования/наклона на основе уровня важности. Помимо настройки угла панорамирования/наклона на основе уровня важности, например, также выполняется обучение в отношении панорамирования/наклона (скорость, ускорение, частота движения).
[0225] (4) Регистрация объекта
В дальнейшем описывается обучение для регистрации объекта. При регистрации объекта, выполняется обучение для автоматической регистрации и ранжирования объекта, который совпадает с пользовательскими предпочтениями. Для обучения, например, выполняются регистрация на основе идентификации по лицу, регистрация общего распознавания объектов и регистрация жеста, распознавания голоса и распознавания сцен на основе звука. Для регистрации на основе идентификации, регистрируются идентификации людей и объектов, и ранг задается на основе числа раз или частоты, когда изображение получается, числа раз или частоты, когда изображение снимается вручную, и частоты появления искомого объекта. Зарегистрированная информация регистрируется в качестве вводов определений с использованием нейронных сетей.
[0226] (5) Управление выдачей уведомлений при съемке
В дальнейшем описывается обучение для уведомления при съемке. Как описано со ссылкой на этапе S910 по фиг. 9, когда предварительно определенное условие удовлетворяется непосредственно перед съемкой, оборудование фиксации изображений уведомляет человека, который должен сниматься, в отношении того, что что изображение человека снимается, и затем выполняет съемку человека. Например, используется движение для того, чтобы визуально направлять линию прямой видимости объекта посредством панорамирования/наклона, звук динамика, который испускается из секции 218 голосового вывода, и светодиодный мигающий свет, сформированный посредством секции 224 управления светодиодами. Определяется то, следует или нет использовать обнаруженную информацию объекта в обучении, на основе того, получается или нет обнаруженная информация (например, степень улыбки, обнаружение на линии прямой видимости, жест) сразу после уведомления, и обучение выполняется посредством варьирования весовых коэффициентов нейронной сети. Альтернативно, выбираются изображения, которые должны обучаться через способ (описан ниже), и обучение выполняется посредством изменения весовых коэффициентов нейронной сети на основе информации обучения, включенной в изображения. Информация, которая описывает то, как уведомляемое движение выполняется непосредственно перед съемкой, встраивается в изображение, и обнаруженная информация, добавляемая в выбранное изображение, и информация относительно уведомляемого движения непосредственно перед съемкой изучаются в качестве обучающих данных. Обнаруженная информация непосредственно перед съемкой вводится в нейронную сеть, и определяется то, следует или нет предоставлять уведомление, либо каждая операция уведомления (звук (уровень звука/тип звука/время), светодиодный индикатор (цвет, время включения освещения, интервал мигания) и движение при панорамировании/наклоне (способ движения, скорость приведения в действие)). Для обучения в отношении операций уведомления, может использоваться способ обучения того, какое из уведомлений выбирается из числа подготовленных способов уведомления (комбинированные операции звука, светодиодного индикатора и движения при панорамировании/наклоне). Может использоваться способ, в котором отдельные нейронные сети предоставляются, соответственно, для операций уведомления звука, светодиодного индикатора и движения при панорамировании/наклоне, и операции изучаются.
[0227] (6) Управление режимом низкого потребления электрической мощности
Как описано со ссылкой на фиг. 7 и фиг. 8, управление для начала или прекращения подачи электрической мощности в главный процессор (первую секцию 223 управления) выполняется, и изучаются условие возврата из режима низкого потребления электрической мощности и условие перехода в состояние низкого потребления электрической мощности.
[0228] Во-первых, в дальнейшем описывается обучение в отношении условия для отмены режима низкого потребления электрической мощности.
[0229] Обнаружение постукивания
Как описано выше, предварительно определенное время TimeA или предварительно определенное пороговое значение ThreshA варьируется посредством обучения. Временное обнаружение постукивания выполняется в состоянии, в котором вышеописанное пороговое значение для обнаружения постукивания уменьшается, и параметры TimeA и ThreshA задаются таким образом, что постукивание легко обнаруживается в зависимости от того, определяется или нет временное обнаружение постукивания перед обнаружением постукивания. Когда определяется то, что он не представляет собой фактор запуска, на основе обнаруженной информации после обнаружения постукивания (отсутствует цель, которая должна сниматься, как результат вышеописанного поиска объекта или определения автоматической съемки), параметры TimeA и ThreshA задаются таким образом, что постукивание затруднительно обнаруживать. Определение в отношении того, имеется или нет цель, которая должна сниматься во время запуска, варьируется в зависимости от обнаруженной информации относительно объекта, встраиваемой в каждое изображение, обученное через способ обучения (описан ниже).
[0230] Обнаружение состояния встряхивания
Как описано выше, предварительно определенное время TimeB, предварительно определенное пороговое значение ThreshB или предварительно определенное количество CountB варьируются посредством обучения. Когда условие запуска удовлетворяется на основе состояния встряхивания, запуск выполняется; тем не менее, когда определяется то, что он не представляет собой фактор запуска, на основе обнаруженной информации в период предварительно определенного времени после запуска (отсутствует цель, которая должна сниматься как результат вышеописанного поиска объекта или определения автоматической съемки), обучение выполняется таким образом, что запуск становится трудным посредством изменения параметра определения состояния встряхивания. Когда определяется то, что частота съемки в состоянии сильного встряхивания является высокой, параметр задается таким образом, что запуск становится простым посредством определения состояния встряхивания. Определение в отношении того, имеется или нет цель, которая должна сниматься во время запуска, либо определение в отношении того, является или нет частота съемки в состоянии сильного встряхивания высокой, варьируется в зависимости от обнаруженной информации относительно объекта, встраиваемой в каждое изображение, обученное через способ обучения (описан ниже), информации встряхивания во время съемки и т.п.
[0231] Обнаружение звука
Обучение может выполняться посредством настройки вручную конкретного голоса, конкретной звуковой сцены или конкретного уровня звука, который пользователь хочет обнаруживать, например, через связь с выделенным приложением внешнего оборудования 301. Помимо этого, множество обнаруженных звуков задается заранее в секции голосовой обработки, изображения, которые должны обучаться через способ (описан ниже), выбираются, и обучение выполняется на основе информации обучения, такой как звуковая информация до и после съемки, включенной в изображения. Таким образом, может задаваться определение звука, которое должно использоваться в качестве фактора запуска (конкретной голосовой команды или звуковой сцены, такой как "восклицание" и "хлопание"), и может обучаться запуск на основе обнаружения звука.
[0232] Обнаружение информации окружения
Обучение может выполняться посредством настройки вручную условия изменения информации окружения, которую хочет пользователь для того, чтобы запускать оборудование фиксации изображений, например, через связь с выделенным приложением внешнего оборудования 301. Например, оборудованию фиксации изображений может инструктироваться запускаться в зависимости от конкретного условия температуры, атмосферного давления, яркости, влажности, величины или варьирования количества ультрафиолетового света. Пороговые значения определения на основе фрагментов информации окружения могут изучаться. Когда определяется то, что он не представляет собой фактор запуска, на основе обнаруженной информации после запуска фрагментов информации окружения (отсутствует цель, которая должна сниматься как результат вышеописанного поиска объекта или определения автоматической съемки), параметры пороговых значений определения задаются таким образом, что условие запуска затруднительно обнаруживать. Альтернативно, посредством обучения из информации окружения, встраиваемой в изображения, обученные через способ обучения (описан ниже), запуск на основе информации окружения может обучаться. Например, когда множество изображений, снятых во время увеличения температуры, обучаются, обучение выполняется таким образом, что оборудование фиксации изображений проще приводится в действие во время увеличения температуры. Параметры также варьируются в зависимости от оставшегося уровня заряда аккумулятора. Например, когда уровень заряда аккумулятора является низким, становится затруднительным переключаться на различные определения, и когда уровень заряда аккумулятора является высоким, становится легко переключаться на различные определения. В частности, для результата обнаружения состояния встряхивания или обнаружения звуковой сцены для обнаружения звука, которое представляет собой условие, а не фактор, который определенно хочет пользователь для того, чтобы запускать оборудование фиксации изображений, простота каждого определения обнаружения варьируется в зависимости от уровня заряда аккумулятора.
[0233] Далее описывается обучение в отношении условия переключения в состояние низкого потребления электрической мощности.
[0234] Как показано на фиг. 7, когда условие определения ни одного из "автоматического режима съемки", "автоматического режима редактирования", "автоматического режима передачи изображений", "режима обучения" и "автоматического режима удаления файлов" не удовлетворяется при определении 704 задания режима, режим переключается в режим низкого потребления электрической мощности. Условие определения каждого режима является таким, как описано выше, и условие для определения каждого режима также варьируется посредством обучения. Для автоматического режима съемки, как описано выше, определяется уровень важности каждой зоны, и автоматическая съемка выполняется в то время, когда поиск объекта выполняется посредством панорамирования/наклона. Поскольку уровень важности каждой зоны вычисляется на основе числа или размера объектов, таких как люди и объекты, в зоне, уровни важности всех зон являются низкими в ситуации, в которой отсутствует окружающий объект. Следовательно, например, автоматический режим съемки может отменяться на основе условия в отношении того, меньше или равны либо нет уровни важности всех зон или значение, полученное посредством суммирования уровней важности зон, предварительно определенного порогового значения. Таким образом, в такой ситуации, что отсутствует объект в окрестности, и необходимость съемки является низкой, автоматический режим съемки может отменяться и переключаться в состояние низкого потребления электрической мощности. В это время, предварительно определенное пороговое значение может понижаться согласно истекшему времени от момента, когда режим переключается в автоматический режим съемки. Режим может проще переключаться в режим низкого потребления электрической мощности по мере того, как истекшее время от момента, когда режим переключается в автоматический режим съемки, увеличивается. Кроме того, посредством варьирования предварительно определенного порогового значения в зависимости от оставшегося уровня заряда аккумулятора, может выполняться управление режимом низкого потребления электрической мощности, которое учитывает полный разряд аккумулятора. Например, пороговое значение уменьшается, когда уровень заряда аккумулятора является низким, и пороговое значение увеличивается, когда уровень заряда аккумулятора является высоким. Здесь, на основе истекшего времени от момента, когда режим переключается в автоматический режим съемки в прошлый раз, и числа снятых изображений, параметр (пороговое значение TimeC истекшего времени) для следующего условия отмены режима низкого потребления электрической мощности задается в подпроцессоре.
[0235] Вышеописанные пороговые значения варьируются посредством обучения. Обучение может выполняться посредством настройки вручную частоты съемки, частоты запуска и т.п., например, через связь с выделенным приложением внешнего оборудования 301. Альтернативно, параметры могут изучаться посредством сохранения среднего значения или данных распределения для каждого периода времени истекшего времени от включения кнопки питания оборудования 101 фиксации изображений до выключения кнопки питания. В этом случае, обучение выполняется таким образом, что временной интервал для того, чтобы возвращаться из режима низкого потребления электрической мощности или переключаться в состояние низкого потребления электрической мощности, уменьшается для пользователя, для которого время от включения подачи мощности до выключения подачи мощности является небольшим, и временной интервал увеличивается для пользователя, для которого время от включения подачи мощности до выключения подачи мощности является длительным. Обучение также выполняется на основе обнаруженной информации во время выполнения поиска. Обучение выполняется таким образом, что временной интервал для того, чтобы возвращаться из режима низкого потребления электрической мощности или переключаться в состояние низкого потребления электрической мощности, уменьшается, в то время как определяется то, что число важных объектов, заданных посредством обучения, является большим, и временной интервал увеличивается, в то время как число важных объектов является небольшим.
[0236] (7) Автоматическое удаление файлов
В дальнейшем описывается обучение для автоматического удаления файлов. Для автоматического удаления файлов, изучаются доступная емкость файла, выбор изображений, которые предпочтительно должны удаляться, и т.п. Изображения, которые должны обучаться через способ (описан ниже), выбираются, и обучение может выполняться посредством изменения весовых коэффициентов нейронной сети на основе информации обучения, включенной в изображения. Как описано выше, как описано в автоматической съемке, количественный показатель, определенный для пользовательских предпочтений, вычисляется для каждого изображения, и изображение, имеющее более низкий количественный показатель, предпочтительно удаляется из носителя 221 записи. Обучение выполняется на основе не только баллов количественного показателя, но также и даты и времени снимка, встраиваемой в каждое изображение на носителе 221 записи, или подробностей редактирования выбранного видео с основными моментами (автоматически отредактированного движущегося изображения) с помощью способа (описан ниже). Обучение, например, выполняется таким образом, что файл с устаревшей датой и временем снимка предпочтительно удаляется, когда полученное видео с основными моментами содержит множество изображений, снятых с короткими временными интервалами, и файл, имеющий более высокий количественный показатель даже с устаревшей датой и временем, не удаляется, когда полученное видео с основными моментами содержит изображения, снятые с длительными временными интервалами. Альтернативно, количественный показатель каждого изображения на носителе 221 записи последовательно повторно вычисляется с предварительно определенными временными интервалами. Информация даты и времени снимка также вводится в нейронную сеть во время вычисления количественного показателя, и обучение выполняется таким образом, что файл с устаревшей датой и временем снимка имеет более низкий количественный показатель, когда множество изображений снимаются с короткими временными интервалами. Таким образом, такой файл предпочтительно удаляется, и обучение выполняется таким образом, что когда изображение, снятое с длительными временными интервалами, включается, количественный показатель не снижается, даже когда дата и время являются старыми, так что в итоге обучение выполняется таким образом, что файл, имеющий более высокий количественный показатель даже с устаревшей датой и временем, не удаляется. В другом примере, изображения, которые должны обучаться, выбираются в способе (описан ниже); тем не менее, когда выбранные изображения с относительно более новой датой и временем частот интенсивно выбираются, файл с устаревшей датой и временем снимка предпочтительно удаляется. Тем не менее, обучение выполняется таким образом, что когда выбранные изображения с относительно устаревшей датой и временем часто выбираются, файл, имеющий более высокий количественный показатель даже с устаревшей датой и временем, не удаляется. В другом примере, когда обучение выполняется таким образом, что частота съемки увеличивается, файлы автоматически удаляются таким образом, что доступная зона для файлов увеличивается; тогда как, когда обучение выполняется таким образом, что частота съемки снижается, файлы автоматически удаляются таким образом, что доступная зона для файлов может быть небольшой. В другом примере, когда обучение выполняется таким образом, что частота съемки для движущегося изображения увеличивается, файлы автоматически удаляются таким образом, что доступная зона для файлов увеличивается; тогда как, когда обучение выполняется таким образом, что частота съемки для неподвижного изображения увеличивается, файлы автоматически удаляются таким образом, что доступная зона для файлов уменьшается.
[0237] (8) Стабилизация изображения
В дальнейшем описывается обучение для стабилизации изображения. Для стабилизации изображения, стабилизация изображения выполняется посредством вычисления величины стабилизации на этапе S902 по фиг. 9 и приведения в действие панорамирования/наклона на этапе S905 на основе величины стабилизации. При стабилизации изображения, выполняется обучение для осуществления коррекции, адаптированной к характеристикам встряхивания пользователя. Направление и абсолютная величина размытости могут оцениваться, например, посредством оценки PSF (функции рассеяния точек) для снятого изображения. При формировании информации обучения на этапе S912 по фиг. 9, оцененное направление и абсолютная величина размытости добавляются в изображение в качестве информации. В рамках процесса в режиме обучения на этапе 716 по фиг. 7, весовые коэффициенты нейронной сети для стабилизации изучаются посредством использования оцененного направления и величины размытости в качестве вывода и фрагментов обнаруженной информации во время съемки в качестве вводов. Фрагменты обнаруженной информации во время съемки представляют собой информацию вектора движения изображения за предварительно определенное время перед съемкой, информацию относительно движения обнаруженного объекта (человека или объекта), информацию вибраций (вывод гироскопа, вывод ускорения, состояние оборудования фиксации изображений) и т.п. За исключением вышеприведенного, определение может выполняться посредством добавления информации окружения (температуры, атмосферного давления, освещенности, влажности), звуковой информации (определения звуковых сцен, конкретного обнаружения голоса, изменения уровня звука), информации времени (истекшего времени от запуска, истекшего времени от последней съемки), информации места (информации GPS-позиции, варьирования позиционного перемещения) и т.п., в качестве вводов. Посредством ввода фрагментов обнаруженной информации в нейронную сеть во время вычисления величины стабилизации на этапе S902, абсолютная величина размытости во время мгновенной съемки может оцениваться, и управление, такое как снижение скорости срабатывания затвора, является возможным, когда оцененная абсолютная величина размытости является большой. Когда оцененная абсолютная величина размытости является большой, изображение может быть размыто, так что может использоваться такой способ, как запрет съемки. Поскольку имеются пределы на углы панорамирования/наклона, когда конец приведения в действие достигается, дополнительная коррекция не может выполняться; тем не менее, посредством оценки величины и направления размытости во время съемки, как описано выше, может оцениваться диапазон, требуемый для панорамирования/наклона для стабилизации во время экспозиции. Когда отсутствует допустимый запас для диапазона перемещения во время экспозиции, большая размытость может подавляться посредством увеличения заданной частоты отсечки фильтра, который вычисляет величину стабилизации таким образом, что диапазон не превышает диапазон перемещения. Когда диапазон с большой вероятностью должен превышать диапазон перемещения, угол панорамирования/наклона поворачивается в направлении, противоположном направлению, в котором угол панорамирования/наклона с большой вероятностью должен превышать диапазон перемещения непосредственно перед экспозицией, и затем экспозиция начинается. Таким образом, съемка без размытости может выполняться при том, что диапазон перемещения обеспечивается. Таким образом, стабилизация может изучаться в соответствии с характеристиками и способом использования пользователя во время съемки, так что может сниматься изображение без размытости. В вышеописанном "определении способа съемки", определяется то, следует или нет выполнять съемку с панорамированием, и коррекция размытости объектов может выполняться посредством оценки скорости приведения в действие для панорамирования/наклона из обнаруженной информации до момента перед съемкой. Здесь, съемка с панорамированием представляет собой съемку, в которой перемещающийся объект не размывается, и статический фон протекает. В этом случае, посредством ввода фрагментов обнаруженной информации в нейронную сеть, скорость приведения в действие во время съемки неподвижных изображений оценивается. Для обучения, направление и абсолютная величина размытости в блоке, в котором расположен основной объект, оцениваются посредством разделения изображения на блоки и оценки PSF каждого блока, и обучение может выполняться на основе информации. Величина протекания фона может изучаться на основе величины протекания фона выбранного изображения через способ обучения (описан ниже). В этом случае, абсолютные величины размытости в блоках, в которых основной объект не расположен в выбранном изображении, оцениваются, и пользовательские предпочтения могут изучаться на основе информации. Посредством настройки скорости срабатывания затвора во время съемки на основе величины протекания фона изученных предпочтений, может автоматически выполняться съемка, которая может предоставлять эффект панорамирования, адаптированный к пользовательским предпочтениям.
[0238] (9) Автоматическая передача изображений
В дальнейшем описывается обучение для автоматической передачи изображений. Для автоматической передачи изображений, обучение выполняется для процесса выбора изображений, которые должны предпочтительно передаваться, из числа изображений, записанных на носитель 221 записи, частоты передачи и т.п. Изображения, которые должны обучаться через способ (описан ниже), выбираются, и обучение может выполняться посредством изменения весовых коэффициентов нейронной сети на основе информации обучения, включенной в изображения. Как описано выше, как описано в автоматической съемке, количественный показатель, определенный для пользовательских предпочтений, вычисляется для каждого изображения, и изображение, имеющее более высокий количественный показатель, предпочтительно передается. Информация обучения, ассоциированная с изображениями, передаваемыми ранее, также используется при определении передачи изображений. Когда изображения, которые должны обучаться, выбираются в способе (описан ниже), задается то, какой из фрагментов информации обучения (количества признаков) следует включать в изображение, которому придается важность, и когда множество изображений, передаваемых ранее, включают в себя аналогичные количества признаков, изображения, имеющие более высокий количественный показатель и включающие в себя другие количества признаков, задаются таким образом, что они передаются. Частота передачи изображений также варьируется согласно состояниям оборудования фиксации изображений. Частота передачи изображений варьируется в зависимости от оставшегося уровня заряда аккумулятора. Например, частота передачи изображений задается таким образом, что изображения труднее передавать, когда уровень заряда аккумулятора является низким, и изображения проще передавать, когда уровень заряда аккумулятора является высоким. В частности, например, частота передачи изображений также может варьироваться посредством использования конфигурации, в которой истекшее время от момента, когда изображения автоматически передаются в прошлый раз, умножается на наивысший количественный показатель из числа изображений, снятых в течение истекшего времени, изображения выполнены с возможностью передаваться, когда умноженное значение превышает пороговое значение, и пороговое значение варьируется в зависимости от уровня заряда аккумулятора. В другом примере, частота автоматической передачи изображений изменяется согласно частоте съемки, заданной посредством оборудования 101 фиксации изображений. Когда обучение выполняется таким образом, что частота съемки увеличивается, частота автоматической передачи изображений также задается таким образом, что она увеличивается. Когда обучение выполняется таким образом, что частота съемки уменьшается, частота автоматической передачи изображений также задается таким образом, что она уменьшается. В это время, частота передачи изображений, соразмерная с заданной частотой съемки, может изменяться посредством варьирования порогового значения согласно частоте съемки. В другом примере, частота автоматической передачи изображений также изменяется согласно доступной емкости в файле (на носителе 221 записи). Когда доступная емкость в файле является большой, частота автоматической передачи изображений задается таким образом, что она уменьшается. Когда доступная емкость в файле является небольшой, частота автоматической передачи изображений задается таким образом, что она увеличивается. Посредством варьирования порогового значения в зависимости от доступной емкости в файле в это время, может изменяться частота передачи изображений, соразмерная с доступной емкостью в файле.
[0239] Далее описываются способы обучения.
[0240] Способы обучения включают в себя "обучение в оборудовании фиксации изображений" и "обучение совместно с оборудованием связи".
[0241] Ниже описывается способ для обучения в оборудовании фиксации изображений.
[0242] (1) Обучение с использованием информации, обнаруженной, когда инструкция съемки выдается пользователем
Как описано на этапах S907-S913 по фиг. 9, в настоящем варианте осуществления, оборудование 101 фиксации изображений имеет возможность выполнять два типа съемки, т.е. ручную съемку и автоматическую съемку. Когда инструкция съемки (которая выполняется на основе трех определений, как описано выше) на основе ручной операции выдается на этапе S907, информация касательно того, что снятое изображение представляет собой вручную снятое изображение, добавляется на этапе S912. Когда на этапе S909 определяется то, что автоматическая съемка включена, и изображение снимается, информация касательно того, что снятое изображение представляет собой автоматически снятое изображение, добавляется на этапе S912.
[0243] Когда ручная съемка выполняется здесь, имеется очень высокая вероятность того, что съемка выполняется на основе объекта пользовательских предпочтений, сцены пользовательских предпочтений и места и временного интервала пользовательских предпочтений. Таким образом, обучение выполняется на основе информации обучения данных жестов и снятого изображения, полученного во время ручной съемки.
[0244] Обучение также выполняется для извлечения количеств признаков в снятом изображении, регистрации персональной идентификации, регистрации выражения лица каждого человека и регистрации комбинации людей на основе информации, обнаруженной во время ручной съемки. Обучение также выполняется для того, чтобы изменять степени важности близлежащих людей и объектов, например, на основе выражение лица каждого объекта, персонально зарегистрированного посредством использования информации, обнаруженной во время поиска объекта. Кроме того, когда "пользователь вручную поворачивается к панорамированию/наклону" (описано ниже со ссылкой на фиг. 17-22), объект, присутствующий в пределах угла обзора после поворачивания, изучается, когда выдается инструкция для того, чтобы изменять угол обзора. Это также представляет собой часть обучения на основе обнаруженной информации ручной операции.
[0245] (2) Обучение с использованием информации, обнаруженной во время поиска объекта
Во время операции поиска объекта, определяется то, кто, что и в какой сцене находится объект, зарегистрированный с помощью персональной идентификации, в изображении, снятом одновременно, и вычисляются отношения времен, в течение которых объект, объект или сцена, с которой объект одновременно появляется в пределах угла обзора.
[0246] Например, может определяться то, что степень важности является высокой, когда отношение времени, когда человек A объекта, зарегистрированного с помощью персональной идентификации, и человек B объекта, зарегистрированного с помощью персональной идентификации, появляются одновременно, выше предварительно определенного порогового значения. Следовательно, когда человек A и человек B включаются в угол обзора, различные фрагменты обнаруженной информации сохраняются в качестве обучающих данных таким образом, что баллы для определения автоматической съемки увеличиваются, и изучаются в процессе 716 режима обучения.
[0247] В другом примере, когда отношение времени, когда человек A объекта, зарегистрированного с помощью персональной идентификации, появляется одновременно с объектом "кошка", определенным через общее распознавание объектов, выше предварительно определенного порогового значения, может определяться то, что степень важности является высокой. Следовательно, когда человек A и "кошка" включаются в угол обзора, различные фрагменты обнаруженной информации сохраняются в качестве обучающих данных таким образом, что баллы для определения автоматической съемки увеличиваются. Затем обучение выполняется в процессе 716 режима обучения.
[0248] Таким образом, когда баллы для определения автоматической съемки увеличиваются в случае, если частота появления искомого объекта является высокой, степени важности людей и объектов около объекта, зарегистрированного с помощью персональной идентификации, также могут изменяться таким образом, что они увеличиваются.
[0249] Когда степень улыбки человека A для объекта, зарегистрированного с помощью персональной идентификации, обнаруживается, либо когда "удовольствие", "удивление" и т.п. обнаруживается посредством обнаружения выражения лица, процесс обучения в отношении объекта, который появляется одновременно, выполняется таким образом, что он является важным. Поскольку имеется низкая вероятность того, что объект, который появляется одновременно с тем, когда "гнев", "невозмутимый вид" и т.п. обнаруживается из выражения лица, является важным, так что выполняется процесс, например, отсутствия обучения.
[0250] Далее описывается обучение совместно с внешним оборудованием связи в настоящем варианте осуществления.
[0251] Для обучения совместно с внешним оборудованием связи в настоящем варианте осуществления, предусмотрены следующие способы.
[0252] (3) Обучение через получение изображения с помощью внешнего оборудования связи
Как описано на фиг. 3, оборудование 101 фиксации изображений и внешнее оборудование 301 имеют средство связи для связи 302, 303. Изображения отправляются или принимаются главным образом через связь 302. Изображения в оборудовании 101 фиксации изображений могут передаваться и получаться во внешнем оборудовании 301 через выделенное приложение во внешнем оборудовании 301. Миниатюрные изображения данных изображений, сохраненных в оборудовании 101 фиксации изображений, могут просматриваться через выделенное приложение во внешнем оборудовании 301. Таким образом, пользователь имеет возможность выбирать свое любимое изображение из числа миниатюрных изображений, проверять изображение и получать изображение во внешнем оборудовании 301 посредством выполнения инструкции получения изображений.
[0253] В это время, поскольку пользователь выбирает изображение, выдает инструкцию отправки и получает изображение, имеется очень высокая вероятность того, что полученное изображение представляет собой изображение пользовательских предпочтений. Таким образом, определяется то, что полученное изображение представляет собой изображение, которое должно обучаться, и различное обучение в отношении пользовательских предпочтений может выполняться посредством выполнения обучения на основе информации обучения полученного изображения.
[0254] В дальнейшем описывается пример работы. Пример, в котором изображения в оборудовании 101 фиксации изображений просматриваются через выделенное приложение внешнего оборудования 301, которое представляет собой интеллектуальное устройство, показывается на фиг. 16. Миниатюрные изображения (1604-1609) данных изображений, сохраненных в оборудовании фиксации изображений, отображаются на части 407 отображения, и пользователь может выбирать любимое изображение пользователя и получать изображение. В это время, предоставляются части (1601, 1602, 1603) изменения способа отображения для изменения способа отображения. Когда часть 1601 нажимается, порядок отображения изменяется на режим отображения по приоритету на основе даты и времени, изображения отображаются на части 407 отображения в порядке дат и времен съемки изображений в оборудовании 101 фиксации изображений (например, изображения отображаются таким образом, что изображение 1604 имеет новую дату и время, и изображение 1609 имеет старую дату и время). Когда часть 1602 нажимается, режим изменяется на режим отображения по приоритету на основе рекомендованных изображений. Изображения отображаются на части 407 отображения в порядке убывания количественных показателей изображений в оборудовании 101 фиксации изображений на основе количественного показателя, определенного на основе пользовательских предпочтений для каждого изображения, вычисленного на этапе S912 по фиг. 9 (например, изображения отображаются таким образом, что изображение 1604 имеет более высокий количественный показатель, и изображение 1609 имеет более низкий количественный показатель). Когда часть 1603 нажимается, человек-объект или объект может указываться, и впоследствии конкретный человек-объект или объект указывается, только конкретный объект может отображаться.
[0255] Части 1601-1603 изменения способа отображения могут задаваться во включенное состояние одновременно. Например, когда все из них задаются во включенное состояние, изображения отображаются таким образом, что только указанный объект отображается, и изображениям, имеющим более новую дату и время снимка, предоставляется более высокий приоритет, и изображениям, имеющим более высокий количественный показатель, предоставляется более высокий приоритет.
[0256] Таким образом, поскольку пользовательские предпочтения также изучаются из снятых изображений в такой же мере, только изображения пользовательских предпочтений могут легко извлекаться с помощью простой операции по проверке из числа большого числа снятых изображений.
[0257] (4) Обучение посредством ввода значения определения для изображения через внешнее оборудование связи
Как описано выше, оборудование 101 фиксации изображений и внешнее оборудование 301 имеют средство связи, и изображения, сохраненные в оборудовании 101 фиксации изображений, могут просматриваться через выделенное приложение во внешнем оборудовании 301. Здесь, может быть применимой конфигурация, в которой пользователь количественно оценивает каждое изображение. Пользователь имеет возможность предоставлять высокие баллы (например, 5 баллов) для изображения, которое пользователь рассматривает в качестве предпочтения, или предоставлять более низкие баллы (например, 1 балл) для изображения, которое пользователь рассматривает в качестве непредпочтения. Оборудование фиксации изображений выполнено с возможностью обучаться на основе пользовательской операции. Баллы каждого изображения используются при повторном обучении вместе с информацией обучения в оборудовании фиксации изображений. Обучение выполняется таким образом, что вывод нейронной сети во время ввода данных признаков из указанной информации изображений приближается к баллам, указанным пользователем.
[0258] В настоящем варианте осуществления, используется конфигурация, в которой пользователь вводит значение определения в каждое снятое изображение через оборудование 301 связи. Альтернативно, может использоваться конфигурация, в которой значение определения непосредственно вводится в каждое изображение посредством управления оборудованием 101 фиксации изображений. В этом случае, например, дисплей с сенсорной панелью оснащается для оборудования 101 фиксации изображений, и режим задается в качестве режима для отображения снятого изображения посредством нажатия, пользователем, GUI-кнопки, отображаемой на части отображения в виде экрана дисплея с сенсорной панелью. Затем аналогичное обучение может выполняться с помощью способа, в котором пользователь вводит значение определения в каждое снятое изображение при проверке изображения.
[0259] (5) Обучение посредством анализа изображений, сохраненных во внешнем оборудовании связи
Внешнее оборудование 301 включает в себя секцию 404 хранения, и изображения, отличные от изображений, снятых посредством оборудования 101 фиксации изображений, также записываются в секции 404 хранения. В это время, изображения, сохраненные во внешнем оборудовании 301, могут легко просматриваться пользователем, и изображение легко выгружается на совместно используемый сервер через секцию 406 управления линией связи общего пользования, так что имеется очень высокая вероятность того, что множество изображений пользовательских предпочтений включаются.
[0260] Внешнее оборудование 301 может быть выполнено с возможностью обрабатывать процесс обучения, эквивалентный процессу обучения секции 219 обработки при обучении в оборудовании 101 фиксации изображений, с помощью секции 411 управления для изображений, сохраненных в секции 404 хранения, через выделенное приложение. В этом случае, внешнее оборудование 301 может быть выполнено с возможностью выполнять обучение посредством передачи обработанных обучающих данных в оборудование 101 фиксации изображений. Альтернативно, внешнее оборудование 301 может быть выполнено с возможностью выполнять обучение в оборудовании 101 фиксации изображений посредством отправки изображений или данных, в отношении которых внешнее оборудование 301 хочет обучения оборудования 101 фиксации изображений.
[0261] Альтернативно, внешнее оборудование 301 может быть выполнено с возможностью выполнять обучение посредством выбора, пользователем, изображений, которые должны обучаться, из числа изображений, сохраненных в секции 404 хранения через выделенное приложение.
[0262] (6) Обучение из информации, выгруженной на сервер SNS с помощью внешнего оборудования связи
В дальнейшем описывается способ использования информации в услуге общения в социальных сетях (SNS), которая представляет собой услугу или веб-узел, которая позволяет конструировать социальную сеть, с фокусированием на соединении между людьми для обучения. Предусмотрена технология, во время выгрузки изображений в SNS, для ввода тегов, связанных с изображениями, из интеллектуального устройства и отправки тегов с изображениями. Также предусмотрена технология для ввода "нравится" и "не нравится" для изображений, выгруженных другим пользователем, и также может определяться то, представляют собой или нет изображения, выгруженные другим пользователем, фотографии предпочтений пользователя, который владеет внешним оборудованием 301.
[0263] Если выделенное SNS-приложение загружено во внешнее оборудование 301, как описано выше, могут получаться изображения, выгруженные непосредственно пользователем, и информация относительно изображений. Альтернативно, когда пользователь вводит "нравится" или "не нравится" для изображений, выгруженных другим пользователем, изображения пользовательских предпочтений и информации тегов могут получаться. Эти изображения и информация тегов анализируются и могут обучаться и задаваться в оборудовании 101 фиксации изображений.
[0264] Как описано выше, внешнее оборудование 301 может быть выполнено с возможностью получать изображения, выгруженные пользователем, или изображения, для которых определено, что они нравятся пользователю, и иметь возможность обрабатывать процесс обучения, эквивалентный процессу обучения секции 219 обработки при обучении в оборудовании 101 фиксации изображений, с помощью секции 411 управления. Таким образом, обучение может выполняться посредством передачи обработанных обучающих данных в оборудование 101 фиксации изображений. Альтернативно, внешнее оборудование 301 может быть выполнено с возможностью отправлять изображения, на которых внешнее оборудование 301 хочет обучать оборудование 101 фиксации изображений, и инструктировать оборудованию 101 фиксации изображений выполнять обучение.
[0265] Помимо этого, обучение выполняется таким образом, что эффект фильтра преобразования цветов в процессе 712 автоматического режима редактирования по фиг. 7 или эффекта фильтра преобразования цветов для редактирования S911 по фиг. 9 варьируется на основе фильтра изображений, предоставленного в SNS, с использованием информации тегов.
[0266] Альтернативно, информация относительно объекта, которая представляет собой пользовательские предпочтения, оценивается из информации объекта, заданной в информации тегов, и обучение выполняется посредством регистрации объекта в качестве объекта, который должен обнаруживаться и вводиться в нейронную сеть. Возможно, что информация объекта, например, представляет собой информацию относительно объекта-объекта, такого как собака и кошка, информацию относительно сцены, такой как пляж, информацию относительно выражения лица, такого как улыбка и т.п.
[0267] Текущая трендовая информация изображений в мире может быть выполнена с возможностью оцениваться из статистических значений информации тегов (информации фильтра изображений или информации объекта) в SNS и обучаться и задаваться в оборудовании 101 фиксации изображений.
[0268] (7) Обучение посредством изменения параметров с помощью внешнего оборудования связи
Как описано выше, оборудование 101 фиксации изображений и внешнее оборудование 301 имеют средство связи, и обучающий параметр, заданный в данный момент в оборудовании 101 фиксации изображений, может передаваться во внешнее оборудование 301 и сохраняться в секции 404 хранения внешнего оборудования 301. Например, весовые коэффициенты нейронной сети, выбор объекта, который должен вводиться в нейронную сеть, и т.п. возможны в качестве обучающего параметра. Альтернативно, обучающий параметр, заданный на выделенном сервере, может получаться через секцию 406 управления линией связи общего пользования через выделенное приложение во внешнем оборудовании 301 и может задаваться в качестве обучающего параметра в оборудовании 101 фиксации изображений. Таким образом, обучающий параметр может возвращаться посредством сохранения параметра в определенный момент времени во внешнем оборудовании 301 и задания параметра в оборудовании 101 фиксации изображений, или обучающий параметр, который имеет другой пользователь, может получаться через выделенный сервер и задаваться непосредственно в оборудовании 101 фиксации изображений.
[0269] Голосовая команда, зарегистрированная пользователем, регистрация на основе идентификации или жест может иметь возможность регистрироваться, или важное место может регистрироваться через выделенное приложение внешнего оборудования 301. Для этих фрагментов информации, триггер съемки, описанный в процессе в автоматическом режиме съемки (фиг. 9), обрабатывается в качестве входных данных определения автоматической съемки.
[0270] Частота съемки, интервал запуска, отношение числа неподвижных изображений к числу движущихся изображений, предпочитаемое изображение(я) и т.п. могут задаваться, либо могут задаваться интервал запуска, описанный в "Управление режимом низкого потребления электрической мощности", отношение числа неподвижных изображений к числу движущихся изображений, описанное в "Автоматическом редактировании", и т.п.
[0271] (8) Обучение из информации относительно ручного редактирования изображения с помощью внешнего оборудования связи
Выделенное приложение внешнего оборудования 301 может иметь функцию, которая обеспечивает возможность ручного редактирования через пользовательскую операцию, и подробности работы по редактированию могут возвращаться в качестве обратной связи в обучение. Например, изображение может редактироваться посредством применения эффекта изображений, и нейронная сеть для автоматического редактирования обучается таким образом, чтобы определять применение вручную отредактированного эффекта изображений для информации обучения изображения. Есть возможность того, что эффект изображений, например, представляет собой обрезку, вращение, скольжение, масштабирование, постепенное исчезновение, эффект фильтра преобразования цветов, время, отношение числа неподвижных изображений к числу движущихся изображений или BGM.
[0272] Здесь, в случае обучения того, что непосредственно пользователь выполняет съемку (1) или выбор изображения (3)-(8), поскольку пользователь выполняет намеренную операцию, имеется высокая вероятность того, что обучение представляет собой надежное обучение для того, чтобы включать пользовательские предпочтения. Тем не менее, (2) "Обучение с использованием информации, обнаруженной во время поиска объекта" не представляет собой обучение на основе намеренной пользовательской операции, так что имеется вероятность того, что обучение содержит обучение, нежелательное для пользователя. Например, другой человек, объект или сцена, появляющаяся одновременно с объектом, зарегистрированным с помощью персональной идентификации, изучается из информации изображений во время выполнения поиска; тем не менее, объект, часто появляющийся одновременно, не обязательно представляет собой пользовательские предпочтения. Следовательно, предпочтительно выполняется обучение ((1), (3)-(8)) в случае, если пользователь намеренно выполняет съемку или выбирает изображение, а не в случае (2), если обучение не основано на намеренной пользовательской операции.
[0273] Обучающие данные представляют собой различные данные (информацию изображений, информацию вибраций, информацию окружения, звуковую информацию, информацию места и т.п.), записанные в качестве информации тегов во время съемки или во время выполнения поиска, и, при включении в обучение, различные данные сохраняются в форме списка. Число данных в группе для обучения является числом, заданным равным фиксированному значению. Группа данных для обучения разделяется на две области, т.е. на область обучающих данных, которые намеренно создает пользователь, и область обучающих данных, которые не создает намеренно пользователь. Отношение чисел данных в областях задается равным такому отношению, что число в области обучающих данных, которые намеренно создает пользователь, больше. Когда новая инструкция для того, чтобы включать обучение, выдается, обучающие данные удаляются из обучающих данных, ассоциированных с каждой областью, и новые обучающие данные добавляются. Например, когда два фрагмента обучающих данных, которые намеренно создает пользователь, должны добавляться, два фрагмента данных удаляются из области обучающих данных, которые намеренно создает пользователь, новые два фрагмента данных добавляются, и обучение выполняется снова.
[0274] При вышеуказанной конфигурации, предпочтительно выполняется обучение ((1), (3)-(8)) в случае, если пользователь намеренно выполняет съемку или выбирает изображение, а не в случае (2), если обучение не основано на намеренной пользовательской операции.
[0275] Альтернативно, из числа различных данных для обучения, даты и времена, в которые формируются фрагменты обучающих данных, управляются, и вычисляется весовой коэффициент La, соразмерный с истекшим временем с даты и времени, в которое формируются обучающие данные. Весовой коэффициент La обновляется таким образом, что он уменьшается по мере того, как истекшее время увеличивается. Помимо этого, весовой коэффициент Lb на основе того, представляют обучающие данные собой обучающие данные, которые намеренно создает пользователь, или обучающие данные, которые не создает намеренно пользователь, также управляется в ассоциации с каждыми обучающими данными. Весовой коэффициент Lb для обучающих данных, которые намеренно создает пользователь, задается таким образом, что он превышает весовой коэффициент Lb для обучающих данных, которые не создает намеренно пользователь. Из числа фрагментов обучающих данных, которые намеренно создает пользователь, весовой коэффициент Lb может изменяться в зависимости от одного из обучений (1), (3)-(8).
[0276] Когда новые обучающие данные добавляются, обучающие данные, значение которых, полученное посредством умножения весового коэффициента La на Lb, является наименьшим из текущей группы обучающих данных, предпочтительно удаляются, после этого дополнительные данные вставляются, и машинное обучение выполняется на основе обновленной группы обучающих данных.
[0277] При вышеуказанной конфигурации, предпочтительно выполняется обучение ((1), (3)-(8)) в случае, если пользователь намеренно выполняет съемку или выбирает изображение, а не в случае (2), если обучение не основано на намеренной пользовательской операции.
[0278] Если, в конфигурации по фиг. 1-6, экран не оснащается, и настройка приоритета является затруднительной в оборудовании погрузки изображения, и настройка приоритета выполняется в меню во внешнем оборудовании, требуются время и усилия пользователя. Тем не менее, когда флаги приоритета автоматически задаются на основе не операции для настройки флагов приоритета, а операции для процесса съемки или операции для процесса редактирования, время и усилия пользователя могут уменьшаться. Когда приоритеты автоматически оцениваются посредством использования снятых изображений, например, когда изображения, которые снимаются с предварительно определенными временными интервалами, оцениваются, имеется вероятность того, что аналогичные изображения снимаются, но они необязательно представляют собой главный объект, так что намерение пользователя может не отражаться. В отличие от этого, в настоящем варианте осуществления, флаги приоритета задаются на основе процесса, который намеренно осуществляет пользователь, так что имеется высокая вероятность того, что намерение пользователя отражается в достаточной степени.
[0279] Далее описывается последовательность операций процесса обучения.
[0280] При определении режима, который должен задаваться, на этапе 704 по фиг. 7, определяется то, следует или нет выполнять процесс обучения. Когда процесс обучения выполняется, определяется то, что режим представляет собой режим обучения, и выполняется процесс в режиме обучения этапа 716.
[0281] В дальнейшем описывается условие определения для режима обучения. То, следует или нет переключаться в режим обучения, определяется на основе истекшего времени от момента, когда последний процесс обучения выполняется, числа фрагментов информации, доступных для обучения, того, имеется или нет инструкция в процессе обучения через оборудование связи, и т.п. Последовательность операций процесса определения в отношении того, следует или нет переключаться в режим обучения, который определяется в процессе определения задания режима этапа 704, показывается на фиг. 14.
[0282] Когда инструкция для того, чтобы начинать определение обучающего режима, выдается в процессе определения задания режима этапа 704, процесс по фиг. 14 начинается. На этапе 1401, определяется то, имеется или нет инструкция регистрации из внешнего оборудования 301. Регистрация здесь представляет собой определение в отношении того, имеется или нет вышеописанная инструкция регистрации для обучения. Например, предусмотрено "Обучение с использованием информации изображений, получаемой с помощью оборудования связи" или "Обучение посредством ввода значения определения для изображения через внешнее оборудование связи". Также предусмотрено "Обучение посредством анализа изображений, сохраненных в оборудовании связи", и т.п. Когда имеется инструкция регистрации из внешнего оборудования на этапе 1401, процесс переходит к этапу S1410, и процесс этапа 716 задается таким образом, что он выполняется посредством задания определения обучающего режима как истинного. Когда отсутствует инструкция регистрации из внешнего оборудования на этапе S1401, процесс переходит к этапу 1402. На этапе 1402, определяется то, имеется или нет инструкция обучения из внешнего оборудования. Инструкция обучения здесь представляет собой определение в отношении того, имеется или нет инструкция для того, чтобы задавать обучающие параметры, к примеру, "Обучение посредством изменения параметра оборудования фиксации изображений с помощью оборудования связи". Когда имеется инструкция обучения из внешнего оборудования на этапе 1402, процесс переходит к этапу S1410, и процесс этапа 716 задается таким образом, что он выполняется посредством задания определения обучающего режима как истинного, после чего процесс определения обучающего режима завершается. Когда отсутствует инструкция обучения из внешнего оборудования на этапе S1402, процесс переходит к этапу 1403.
[0283] На этапе 1403, определяется то, удовлетворяется или нет диспетчеризованное условие обучения. Может использоваться условие обучения на основе диспетчеризованного времени. Например, обучение выполняется в 24:00 каждый день. Таким образом, обучение выполняется периодически, так что новизна изученного результата может поддерживаться постоянной. В качестве другого примера, обучение может выполняться при условии, что инструкция для выключения подачи мощности выдается посредством нажатия кнопки питания оборудования 101 фиксации изображений. В это время, мощность выключается после того, как процесс обучения завершается. Для процесса обучения, в общем, требуется длительное время обработки. Когда процесс обучения выполняется в то время, когда оценивается то, что пользователь не использует оборудование 101 фиксации изображений для съемки и т.п., некоторое время, к примеру, во время выключения подачи мощности, процесс обучения может выполняться без создания помех использованию пользователем. Когда предварительно определенное условие обучения удовлетворяется, процесс переходит к этапу S1410. Когда условие не удовлетворяется, процесс переходит к этапу 1404. На этапе 1404, определяется то, имеется или нет вероятность того, что съемка выполняется. Как описано выше, процесс обучения требует времени, так что желательно не допускать выполнения процесса обучения в то время, когда имеется вероятность выполнения съемки. Следовательно, например, на основе такого условия, что инструкция для ручной съемки не выдана в течение последнего заданного периода времени или больше, либо такого условия, что уровень важности зоны в автоматическом режиме съемки ниже или равен предварительно определенному уровню, определяется то, что имеется низкая вероятность выполнения съемки в течение некоторого времени. Когда определяется то, что возможность съемки является низкой, процесс переходит к этапу 1405. В противном случае, процесс переходит к этапу 1411, и определение обучающего режима задается как ложное. На этапе 1405, истекшее время TimeN от последнего процесса обучения (повторного вычисления весовых коэффициентов нейронной сети) выполняется, и процесс переходит к этапу S1406. На этапе 1406, получается число DN новых данных, которые должны обучаться (число изображений, которые должны обучаться, указанных в течение истекшего времени TimeN от момента, когда последний процесс обучения выполняется), и процесс переходит к этапу 1407. На этапе 1407, пороговое значение DT вычисляется из TimeN. Например, пороговое значение DTa для случая, в котором TimeN меньше предварительно определенного значения, задается таким образом, что оно превышает пороговое значение DTb для случая, в котором TimeN превышает предварительно определенное значение, и пороговое значение задается таким образом, что оно уменьшается во времени. Таким образом, даже когда число обучающих данных является небольшим, обучение выполняется снова, когда истекшее время является длительным, за счет этого упрощая для оборудования фиксации изображений обучение и варьирование согласно времени использования.
[0284] Когда пороговое значение DT вычисляется на этапе 1407, процесс переходит к этапу 1408, и определяется то, превышает или нет число DN данных, которые должны обучаться, пороговое значение DT. Когда DN превышает пороговое значение DT, процесс переходит к этапу 1409, и DN задается равным нулю. Затем процесс переходит к этапу 1410, определение обучающего режима задается как истинное, чтобы осуществлять такую настройку, что процесс этапа 716 выполняется, после чего процесс определения обучающего режима завершается.
[0285] Когда DN меньше или равен пороговому значению DT на этапе 1408, процесс переходит к 1411. Поскольку отсутствует как инструкция регистрации из внешнего оборудования, так и инструкция обучения из внешнего оборудования, и число обучающих данных также меньше или равно предварительно определенному значению, определение обучающего режима задается как ложное, чтобы осуществлять такую настройку, что процесс этапа 716 не должен выполняться, после чего процесс определения обучающего режима завершается.
[0286] Далее описывается процесс в процессе в режиме обучения (этап 716). Подробная последовательность операций процесса в режиме обучения показывается на фиг. 15.
[0287] Когда на этапе 715 по фиг. 7 определяется то, что режим представляет собой режим обучения, и процесс переходит к этапу 716, процесс по фиг. 15 начинается. На этапе 1501, определяется то, имеется или нет инструкция регистрации из внешнего оборудования 301. Когда имеется инструкция регистрации из внешнего оборудования на этапе 1501, процесс переходит к этапу 1502. На этапе 1502, процесс различных типов регистрации выполняется.
[0288] Различные типы регистрации представляют собой регистрацию признаков, которые должны вводиться в нейронную сеть, и включают в себя, например, регистрацию идентификации по лицу, регистрацию общего распознавания объектов, регистрацию звуковой информации, регистрацию информации места и т.п.
[0289] Когда процесс регистрации завершается, процесс переходит к этапу 1503, и элементы, которые должны вводиться в нейронную сеть, изменяются на основе информации, зарегистрированной на этапе 1502.
[0290] Когда процесс этапа 1503 завершается, процесс переходит к этапу 1507.
[0291] Когда отсутствует инструкция регистрации из внешнего оборудования 301 на этапе 1501, процесс переходит к этапу 1504, и определяется то, имеется или нет инструкция обучения из внешнего оборудования 301. Когда имеется инструкция обучения из внешнего оборудования, процесс переходит к этапу 1505, обучающие параметры, передаваемые из внешнего оборудования, задаются в каждом устройстве определения (как весовые коэффициенты нейронной сети и т.п.), и процесс переходит к этапу 1507.
[0292] Когда отсутствует инструкция обучения из внешнего оборудования на этапе 1504, обучение (повторное вычисление весовых коэффициентов нейронной сети) выполняется на этапе 1506. Условие переключения на процесс этапа 1506 представляет собой такое условие, что, как описано со ссылкой на фиг. 14, число DN данных, которые должны обучаться, превышает пороговое значение, и повторное обучение каждого устройства определения разрешается. Повторное обучение выполняется посредством использования такого способа, как способ на основе обратного распространения ошибок и способ градиентного спуска, весовые коэффициенты нейронной сети повторно вычисляются, и параметры каждого устройства определения изменяются. Когда обучающие параметры задаются, процесс переходит к этапу 1507.
[0293] На этапе 1507, количественные показатели назначаются изображениям в файле снова. В настоящем варианте осуществления, количественные показатели назначаются всем снятым изображениям, сохраненным в файле (на носителе 221 записи), на основе изученного результата, и автоматическое редактирование или автоматическое удаление файлов выполняется согласно назначенным количественным показателям. Таким образом, когда повторное обучение или настройка обучающих параметров из внешнего оборудования выполняется, количественные показатели уже снятых изображений также должны обновляться. Таким образом, на этапе 1507, выполняется повторное вычисление для назначения новых количественных показателей снятым изображениям, сохраненным в файле. Когда процесс завершается, завершается процесс в режиме обучения.
[0294] В настоящем варианте осуществления, описывается способ предложения видеоизображения пользовательских предпочтений посредством извлечения сцен, которые, по-видимому, нравятся пользователю, обучения в отношении признаков сцен и отражения изученных признаков в такой операции, как автоматическая съемка и автоматическое редактирование; тем не менее, настоящее изобретение не ограничено этим вариантом применения. Например, изученные признаки могут преднамеренно использоваться в варианте применения, чтобы предоставлять видеоизображение, которое отличается от изображений для пользовательских предпочтений. Примеры реализуемых способов являются следующими.
[0295] (1) Способ с использованием нейронной сети, имеющей изученные предпочтения
Для обучения, обучение в отношении пользовательских предпочтений выполняется, как описано выше. Затем, на этапе S908 "автоматической съемки", автоматическая съемка выполняется, когда выходное значение нейронной сети является значением, которое указывает то, что оно отличается от значений пользовательских предпочтений, которые представляют собой обучающие данные. Например, когда изображения, которые нравятся пользователю, задаются для обучающих изображений, и обучение выполняется таким образом, что более высокое значение выводится, когда изображение имеет признаки, аналогичные признакам обучающих изображений, наоборот, автоматическая съемка выполняется при условии, что выходное значение меньше на предварительно определенное значение или более. Аналогично, также в процессе поиска объекта или автоматическом процессе редактирования, выполняется процесс, в котором выходное значение нейронной сети является значением, которое указывает то, что оно отличается от значений пользовательских предпочтений, которые представляют собой обучающие данные.
[0296] (2) Способ с использованием нейронной сети, имеющей изученную ситуацию, отличающуюся от предпочтений
В этом способе, в момент времени процесса обучения, обучение выполняется с использованием ситуации, отличающейся от ситуации пользовательских предпочтений, в качестве обучающих данных. Например, вручную снятые изображения представляют собой сцены, съемку которых пользователю нравится выполнять, и выше описывается способ обучения с использованием снятых вручную изображений в качестве обучающих данных. В отличие от этого, в настоящем варианте осуществления, наоборот, вручную снятые изображения не используются в качестве обучающих данных, и сцены, которые не сняты вручную в течение предварительно определенного времени или более, добавляются в качестве обучающих данных. Альтернативно, когда сцены, признаки которых являются аналогичными признакам вручную снятых изображений, включаются в обучающие данные, эти сцены могут удаляться из обучающих данных. Альтернативно, изображения, признаки которых отличаются от признаков изображений, снятых посредством внешнего оборудования связи, могут добавляться в обучающие данные, или изображения, признаки которых являются аналогичными признакам снятых изображений, могут удаляться из обучающих данных. При этой конфигурации, данные, отличающиеся от данных пользовательских предпочтений, собираются в обучающих данных, и как результат обучения, нейронная сеть имеет возможность идентифицировать ситуации, отличающиеся от ситуаций пользовательских предпочтений. В автоматической съемке, посредством выполнения съемки согласно выходному значению нейронной сети, может сниматься сцена, отличающаяся от сцен пользовательских предпочтений. Кроме того, при автоматическом редактировании, аналогично может предлагаться редактирование изображений, отличающихся от изображений пользовательских предпочтений.
[0297] Как описано выше, посредством намеренного предложения видеоизображения, отличающегося от видеоизображений пользовательских предпочтений, съемка выполняется согласно сценам, которые пользователь смущается снимать вручную, так что получается эффект уменьшения пропуска возможности фотографирования. Кроме того, посредством предложения эффекта съемки или редактирования в сценах, относительно которых непосредственно пользователь не имеет понятия, может ожидаться такой эффект, что пользователь может находить что-то или расширять предпочтения.
[0298] Посредством комбинирования вышеописанных средств, нетрудно регулировать степень адаптации к пользовательским предпочтениям, такую как предложение немного похожей ситуации, но частично отличающейся от ситуаций пользовательских предпочтений. Степень адаптации к пользовательским предпочтениям может изменяться согласно настройке режима, состояниям различных датчиков и состояниям фрагментов обнаруженной информации.
[0299] В настоящем варианте осуществления, приводится описание на основе конфигурации, которая выполняет обучение в оборудовании 101 фиксации изображений; тем не менее, конфигурация, в которой процесс обучения предоставляется во внешнем оборудовании 301, данные, требуемые для обучения, передаются во внешнее оборудование 301, и обучение выполняется только для внешнего оборудования, также имеет возможность достигать аналогичного эффекта обучения. В этом случае, как описано в вышеприведенном "Обучение посредством изменения параметра с помощью оборудования связи", может использоваться конфигурация, в которой обучение выполняется посредством задания таких параметров настройки, как весовые коэффициенты нейронной сети, обучаемых во внешнем оборудовании, в оборудовании 101 фиксации изображений через связь.
[0300] Может использоваться конфигурация, в которой процесс обучения предоставляется в каждом из оборудования 101 фиксации изображений и внешнего оборудования 301. Например, может использоваться конфигурация, в которой информация обучения во внешнем оборудовании 301 передается в оборудование 101 фиксации изображений в то время, когда процесс 716 режима обучения выполняется в оборудовании 101 фиксации изображений, и обучение выполняется посредством объединения обучающих параметров.
[0301] На этапе S907 вышеописанного процесса в автоматическом режиме съемки (фиг. 9), определяется то, имеется или нет инструкция (ручной) съемки пользователя, и когда имеется инструкция съемки, процесс переходит к этапу S910. Здесь, инструкция (ручной) съемки пользователя может выдаваться посредством поворачивания вручную направления, в котором ориентируется оборудование фиксации изображений (в дальнейшем в этом документе, направления съемки). Фиг. 17 является блок-схемой, которая показывает конфигурацию секции 205 вращательного приведения в действие оправы объектива. Компоненты 1701-1707 по фиг. 17 связаны с приведением в действие панорамирующего вала. Компоненты 1708-1714 по фиг. 17 связаны с приведением в действие и управлением наклоняющего вала. Базовые конфигурации, связанные с приведением в действие панорамирующего вала и приведением в действие наклоняющего вала, являются идентичными, так что в дальнейшем описывается только конфигурация, связанная с панорамирующим валом, и описание конфигурации, связанной с приведением в действие наклоняющего вала, опускается. Ссылка с номером 1701 указывает секцию преобразования позиций изображения в позиции панорамирования для вычисления целевой позиции во время приведения в действие панорамирующего вала 1706 на основе разности между целевой позицией и текущей позицией объекта для изображения. Фиг. 18 является видом, который показывает взаимосвязь между текущей позицией и целевой позицией объекта в изображении, снятом посредством оборудования фиксации изображений. Ссылка с номером 1801 указывает определенное мгновенное изображение, полученное с помощью секции 207 обработки изображений во время поиска объекта оборудования фиксации изображений. Ссылка с номером 1802 указывает текущую позицию (x1, y1) объекта. Ссылка с номером 1803 указывает целевую позицию (x0, y0) объекта. Во время вычисления целевых позиций панорамирования и наклона на основе разности между целевой позицией 1803 и текущей позицией 1802 объекта для изображения, используются следующие формулы.
kp(f)*(x1-x0) (1)
kt(f)*(y1-y0) (2)
[0302] kp(f) является коэффициентом преобразования для вычисления целевой позиции панорамирования на основе разности между целевой позицией и текущей позицией объекта для изображения, которая варьируется согласно фокусной длине f оборудования фиксации изображений; kt(f) является коэффициентом преобразования для вычисления целевой наклонной позиции на основе разности между целевой позицией и текущей позицией объекта для изображения, которая варьируется согласно фокусной длине f оборудования фиксации изображений.
[0303] Ссылка с номером 1702 на фиг. 17 указывает компенсатор. Компенсатор 1702 вычисляет управляющий вывод посредством выполнения вычисления на основе PID-управления таким образом, что разность между текущей позицией панорамирования и целевой позицией панорамирования, вычисленная посредством секции 1701 преобразования позиций изображения в позиции панорамирования, исключается. Ссылка с номером 1703 указывает секцию обнаружения операций изменения направления съемки. Секция 1703 обнаружения операций изменения направления съемки обнаруживает операцию изменения направления съемки на основе разности (в дальнейшем в этом документе, позиционного отклонения) между целевой позицией панорамирования и текущей позицией панорамирования, управляющего вывода и скорости перемещения при панорамировании. Когда секция 1703 обнаружения операций изменения направления съемки обнаруживает изменение направления съемки, секция 1703 обнаружения операций изменения направления съемки прекращает панорамирование посредством прекращения управляющего вывода. С другой стороны, когда секция 1703 обнаружения операций изменения направления съемки не обнаруживает изменение направления съемки, секция 1703 обнаружения операций изменения направления съемки приводит в действие и управляет панорамированием согласно управляющему выводу, вычисленному посредством компенсатора 1702. Ссылка с номером 1704 указывает формирователь сигналов управления для формирования сигнала приведения в действие, соразмерного с управляющим выводом, вычисленным посредством компенсатора 1702. Ссылка с номером 1705 представляет собой ультразвуковой электромотор (USM), который представляет собой актуатор для приведения в действие панорамирующего вала 1706. Ссылка с номером 1707 указывает секцию определения скорости перемещения для вычисления скорости перемещения при панорамировании из изменения во времени позиции панорамирования. Секция 1707 определения скорости перемещения вычисляет скорость перемещения при панорамировании из варьирования позиции панорамирования в каждой контрольной выборке. Фиг. 19 является блок-схемой последовательности операций способа, которая показывает последовательность операций для обнаружения операции изменения направления съемки, выполняемой через пользовательскую операцию, и обновления информации обучения посредством настройки зоны съемки после операции изменения направления съемки в качестве важной зоны.
[0304] На этапе S1901, определяется то, имеется или нет операция изменения направления съемки, выполненная пользователем в оборудовании фиксации изображений. При обнаружении операции изменения направления съемки, выполненной пользователем, когда управляющий вывод и позиционное отклонение (описаны ниже) удовлетворяют предварительно определенным условиям, секция 1703 обнаружения операций изменения направления съемки определяет то, что имеется изменение направления съемки. Когда операция изменения направления съемки обнаруживается на этапе S1901, процесс переходит к этапу S1902, и операция управления позицией прекращается. Когда отслеживание или поиск объекта выполняется, отслеживание или поиск объекта прерывается, и затем операция управления позицией прекращается. С другой стороны, когда операция изменения направления съемки не обнаруживается на этапе S1901, обнаружение операции изменения направления съемки продолжается. После того, как управление позицией прекращается на этапе S1902, процесс переходит к этапу S1903, и определяется то, завершается или нет операция изменения направления съемки, выполненная пользователем.
[0305] При определении завершения операции изменения направления съемки, секция 1703 обнаружения операций изменения направления съемки определяет то, продолжается или завершается операция изменения направления съемки, на основе скорости перемещения при панорамировании. Когда определяется то, что операция изменения направления съемки завершается, процесс переходит к этапу S1904, и информация зоны съемки после завершения операции изменения направления съемки сохраняется. Зона, которая должна сохраняться, представляет собой ближайшую зону посредством сравнения угла обзора, который определяется из позиции оборудования фиксации изображений, позиции панорамирования, наклонной позиции и фокусной длины, с каждой разделенной зоной. Когда на этапе S1903 определяется то, что операция изменения направления съемки выполняется, обнаружение завершения операции изменения направления съемки продолжается. На этапе S1905, информация обучения обновляется таким образом, что зона, сохраненная на этапе S1904, является более важной, чем другие разделенные зоны. На этапе S1906, отслеживание объекта и управление позицией активируются, и затем процесс переходит к этапу S1901, и обнаружение операции изменения направления съемки возобновляется. В это время, для того, чтобы информировать пользователя в отношении того, что оборудование 101 фиксации изображений выполняет отслеживание, специальное изображение (эффект изображений), отличающееся от изображения для вышеописанной идентификации по лицу, отображается в изображении цели отслеживания или около изображения. В качестве примера, в котором пользователь выполняет операцию изменения направления съемки, в дальнейшем описывается пример случая, в котором пользователь выполняет операцию изменения направления съемки посредством поворачивания оправы 102 объектива с помощью руки при съемке цветка с помощью оборудования 101 фиксации изображений таким образом, что оптическая ось оборудования 101 фиксации изображений направляется к конкретному человеку за пределами угла обзора. Фиг. 20 является принципиальной схемой для иллюстрации примера, в котором оправа 102 объектива поворачивается рукой пользователя к человеку 2003, в то время как изображение цветка 2001 снимается с помощью оборудования 101 фиксации изображений, и затем информация обучения обновляется таким образом, что зона, в которой присутствует человек 2003, задается в качестве важной зоны. Ссылка с номером 2002 на фиг. 20 указывает оптическую ось оборудования 101 фиксации изображений, которое выполняет съемку цветка 2001. Ссылка с номером 2004 указывает оптическую ось после того, как пользователь изменяет направление съемки с помощью руки. Ссылка с номером 2005 указывает направление поворачивания оправы 102 объектива в то время, когда пользователь изменяет направление съемки. В дальнейшем описывается операция, в которой направление съемки изменяется к человеку 2003 через пользовательскую операцию в то время, когда цветок 2001 снимается, и затем информация обучения обновляется таким образом, что зона, в которой присутствует человек 2003, задается в качестве важной зоны, со ссылкой на фиг. 21 и фиг. 22. Фиг. 21A, фиг. 21B, фиг. 21C и фиг. 21D являются видами, которые показывают мгновенные изображения, снятые в период, в течение которого направление съемки изменяется к конкретному человеку 2003, посредством изменения направления съемки в то время, когда цветок снимается, и информация обучения обновляется. Фиг. 22 является графиком, который показывает изменения во времени управляющего вывода 2201 при панорамировании, позиционного отклонения 2202 и скорости 2203 перемещения в период, в течение которого пользователь изменяет направление съемки к конкретному человеку 2003 в то время, когда цветок снимается, и информация обучения обновляется таким образом, что зона измененного угла обзора задается в качестве важной зоны; ta, tb, tc, td на фиг. 22, соответственно, являются временами, в которые снимаются изображения, показанные на фиг. 21A, фиг. 21B, фиг. 21C и фиг. 21D. ThC на фиг. 22 является пороговым значением управляющего вывода, которое используется для того, чтобы определять то, что пользователь поворачивает оправу 102 объектива с помощью руки. ThDiff является пороговым значением позиционного отклонения, которое используется для того, чтобы определять то, что пользователь поворачивает оправу 102 объектива с помощью руки. Когда состояние, в котором управляющий вывод превышает или равен ThC, и позиционное отклонение превышает или равно ThDiff, продолжается в течение предварительно определенного времени (t2-t1 на фиг. 22), считается, что направление съемки изменено пользователем, и управляющий вывод компенсатора 1702 прекращается. ThV является пороговым значением скорости перемещения панорамирующего вала, которое используется для того, чтобы определять то, что пользователь прекращает управление направлением съемки. CMax является максимальным значением управляющего вывода компенсатора 1702. Во время управления позицией, панорамирующий вал приводится в действие и управляется таким образом, что объект расположен в целевой позиции в изображении, посредством изменения управляющего вывода в пределах диапазона от -CMax до Cmax; t1 на фиг. 22 указывает время, в которое управляющий вывод 2201 превышает или равен ThC, и позиционное отклонение превышает или равно ThDiff после того, как пользователь начинает операцию направления съемки; t2 указывает время, в которое период времени, в который управляющий вывод 2201 превышает или равен ThC, и позиционное отклонение 2202 превышает или равно ThDiff, достигает времени (t2-t1) определения изменения направления съемки; t3 указывает время, в которое, после времени t2, скорость перемещения панорамирующего вала становится ThV или ниже в первый раз; t4 указывает время, в которое истекшее время после того, как скорость перемещения становится ThV или ниже во время t3, становится временем (t4-t3) определения окончания изменения направления съемки.
[0306] Фиг. 21A является изображением, снятым в момент времени ta в то время, когда цветок 2001 снимается. Ссылка с номером 2101 на фиг. 21A указывает рамку с объектом, которая представляет объект в качестве цели отслеживания, поиска или съемки. Ссылка с номером 2102 указывает целевую точку, которая представляет собой целевую позицию для изображения в центре рамки 2101 с объектом. Точка, в которой две линии, указываемые посредством 2102, пересекаются друг с другом, представляет собой целевую позицию объекта для изображения. Во время нормальной операции съемки (не в состоянии операции изменения направления съемки), позиционное совмещение выполняется посредством приведения в действие и управления панорамирующим валом или наклоняющим валом таким образом, что центр рамки 2101 с объектом и целевая точка 2102 совпадают между собой. Фиг. 21B является изображением, снятым в то время, когда пользователь поворачивает оправу 102 объектива вправо относительно закрепленной части 103 в момент времени tb в состоянии по фиг. 21A. Сплошная стрелка на фиг. 21B указывает направление панорамирования для управления позицией. Обведенная стрелка указывает направление поворачивания оправы 102 объектива через операцию изменения направления съемки пользователя. Когда управляющий вывод 2201 и позиционное отклонение 2202 во время tb наблюдаются, хотя управляющий вывод составляет максимальное значение CMax, позиционное отклонение 2202 имеет тенденцию увеличиваться. Из этого определяется то, что пользователь намеренно поворачивает панорамирующий вал. В настоящем варианте осуществления, определение в отношении того, изменяется или нет направление съемки, выполняется после предварительно определенного времени (t2-t1), которое требуется от момента, когда состояние, в котором пользователь поворачивает оправу 102 объектива с помощью руки, считывается, до момента, когда управляющий вывод компенсатора 1702 прекращается. Это представляет собой показатель для неопределения того, что имеется операция направления съемки, когда пользователь непреднамеренно касается оправы объектива или под влиянием флуктуаций нагрузки панорамирующего вала или наклоняющего вала, приводимого в действие для выполнения поиска, хотя пользователь не выполняет операцию изменения направления. Время на закрепление может сокращаться или опускаться, чтобы быстро выполнять определение изменения направления съемки после того, как пользователь начинает операцию изменения направления съемки.
[0307] Фиг. 21C является видом в то время, когда целевой объект входит в угол обзора посредством поворачивания панорамирующего вала в позицию рядом с новым объектом через операцию изменения направления съемки пользователя в состоянии, в котором управляющий вывод компенсатора 1702 прекращается во время tc. Таким образом, пользователь должен продолжать операцию изменения направления съемки, до тех пор, пока объект, который представляет собой новую цель съемки, не входит в угол обзора. Когда, изображение, направление съемки которого изменяется, не может непосредственно проверяться, как и в случае оборудования 101 фиксации изображений, описанного в настоящем варианте осуществления, пользователь подтверждает то, что объект, который представляет собой цель съемки, входит в угол обзора, посредством выполнения операции при проверке изменения изображения с помощью интеллектуального устройства. В качестве другого средства для пользователя обучаться тому, что объект, который представляет собой цель съемки, входит в угол обзора, когда новый объект входит в угол обзора во время изменения направления съемки, пользователь может уведомляться посредством загорания светодиода посредством секции 224 управления светодиодами или вывода голоса посредством секции 218 голосового вывода.
[0308] Фиг. 21D является изображением во время отслеживания или съемки нового объекта после того, как направление съемки изменяется в состоянии, в котором управляющий вывод компенсатора 1702 начинается в момент времени t4. Время t4 представляет собой время, когда период времени после того, как скорость перемещения при панорамировании 2203 становится меньше или равной ThV во время t3, превышает или равно времени (t4-t3) определения окончания операции изменения направления съемки. Когда во время t4 определяется то, что операция изменения направления съемки пользователя завершается, зона съемки в момент времени t4 задается в качестве предпочтительной зоны пользователя и задается таким образом, что она имеет более высокую степень важности, чем другие зоны, и затем информация обучения обновляется. Кроме того, объект, присутствующий в этой зоне, может подвергаться одной или более операций отслеживания, съемки и регистрации на основе идентификации в качестве важного объекта. Например, как показано на фиг. 21D, когда человек 2003 присутствует в пределах угла обзора в то время, когда завершение операции изменения направления съемки пользователя обнаруживается, человек 2003 подвергается любой одной или более операций из отслеживания, съемки и регистрации на основе идентификации в качестве важного объекта. Процесс обновления информации обучения может выполняться только тогда, когда имеется инструкция обучения пользователя, и не выполняться автоматически. Информация обучения может обновляться только тогда, когда имеется инструкция обучения от пользователя. Например, после того, как оборудование фиксации изображений уведомляет пользователя в отношении того, что объект входит в угол обзора, только когда пользователь вводит конкретную голосовую команду для инструкции обучения, зарегистрированной заранее, информация обучения обновляется.
[0309] В настоящем варианте осуществления, описывается пример, в котором начало и завершение операции изменения направления съемки в оборудовании фиксации изображений пользователем обнаруживаются на основе управляющего вывода компенсатора, позиционного отклонения и скорости перемещения ведущего вала; тем не менее, операция направления съемки пользователя может обнаруживаться с помощью другого способа при условии, что операция направления съемки пользователя может обнаруживаться. Например, то, имеется или нет изменение направления съемки, выполненное пользователем, может обнаруживаться на основе изменения во времени сигнала гиродатчика или датчика ускорения из секции 209 обнаружения встряхивания оборудования. Фиг. 23 показывает изменение вывода датчика ускорения секции 209 обнаружения встряхивания оборудования в то время, когда направление съемки оборудования фиксации изображений изменяется через пользовательскую операцию. Ссылка с номером 2301 указывает изменение во времени ускорения. ThA1 является пороговым значением ускорения, которое используется во время определения того, что пользователь начинает операцию изменения направления съемки. ThA2 является пороговым значением ускорения, которое используется во время определения того, что пользователь прекращает операцию изменения направления съемки. Начало и прекращение операции изменения направления съемки может обнаруживаться посредством сравнения ускорения с этими пороговыми значениями. В это время, для того, чтобы предотвращать ошибочное обнаружение операции изменения направления съемки, шаблон изменения во времени ускорения во время операции изменения направления съемки может изучаться заранее, и может определяться то, что, направление съемки изменено, когда подобие между изменением во времени обнаруженного ускорения и изученным шаблоном изменения во времени выше или равно предварительно определенному значению. Аналогично, то, имеется или нет операция направления съемки, может обнаруживаться на основе изменения вектора движения изображения, снятого посредством оборудования фиксации изображений.
[0310] В вышеприведенном описании, поясняется процесс, в котором зона съемки, которая входит в угол обзора после операции изменения направления съемки, изучается в качестве важной зоны. Тем не менее, без ограничения означенным, может использоваться процесс, в котором, когда имеется изменение масштаба или изменение зоны съемки через пользовательскую операцию во внешнем оборудовании, зона съемки после операции изменения изучается в качестве важной зоны.
[0311] Процесс изменяется согласно условию отмены режима низкого потребления электрической мощности
В дальнейшем описывается базовая последовательность операций процесса в режиме съемки в настоящем варианте осуществления со ссылкой на фиг. 9; тем не менее, если процесс выполняется в соответствии с этой последовательностью в любое время, требуется время на то, чтобы находить объект и выполнять автоматическую съемку. В этом случае, возникают такие проблемы, что возможность фотографирования пропускается, или объект, отличающийся от намерения пользователя, снимается. В частности, в то время, когда режим низкого потребления электрической мощности отменяется (в дальнейшем в этом документе называется "пробуждением"), оптимальная последовательность операций процесса варьируется в зависимости от отмены, выполненной на основе этого условия. Здесь, в дальнейшем описываются примеры условия пробуждения и последовательности операций процесса, подходящей для условия.
[0312] (1) Пробуждение на основе обнаружения постукивания
Пробуждение на основе обнаружения постукивания является возможным, как описано выше. В таком случае, возможно, что владелец оборудования 101 фиксации изображений выдает инструкцию пробуждения с намерением выполнять съемку. Следовательно, предпочтительным является процесс, в котором владелец находится в качестве результата поиска в окрестностях, и автоматическая съемка выполняется сразу таким образом, что владелец снимается.
[0313] Фиг. 27 показывает процесс для режима съемки в этом случае.
[0314] Этапы S2701-S2703 являются идентичными этапам процесса в нормальные времена, описанного на фиг. 9, так что описание опускается.
[0315] На этапе S2704, в отличие от нормального процесса, поиск выполняется в то время, когда камера панорамируется/наклоняется таким образом, что охватывается весь угол обзора.
[0316] На этапе S2705, определяется то, находится или нет конкретный идентифицированный человек в пределах угла обзора. В это время, желательно, если лицо владельца регистрируется в качестве идентифицированного лица для владельца заранее, и поиск владельца проводится в качестве конкретного идентифицированного человека. Когда владелец находится в пределах угла обзора, процесс переходит к этапу S2706.
[0317] На этапе S2706, камера панорамируется/наклоняется или масштабируется таким образом, что владелец включается в угол обзора, и затем процесс переходит к операции начала съемки этапа S2712.
[0318] Этапы S2707-S2715 являются процессами, аналогичными S905-S913 по фиг. 9, так что описание опускается.
[0319] При таком процессе, возможна съемка, которая сразу реагирует на намерение пользователя.
[0320] (2) Пробуждение на основе обнаружения звука
Пробуждение на основе обнаружения звука и распознавания голосовых команд является возможным, как описано выше. В случае обнаружения звука, имеется высокая вероятность того, что человек проблемы присутствует в направлении звука. В случае распознавания голосовых команд, возможно, что человек, который произносит голосовую команду, имеет намерение желать съемки камерой изображения себя. Следовательно, предпочтительным является процесс, в котором человек в направлении, в котором обнаруживается голос, находится, и автоматическая съемка немедленно выполняется.
[0321] Фиг. 28 показывает процесс для режима съемки в этом случае.
[0322] Этапы S2801-S2803 являются идентичными этапам процесса в нормальные времена, описанного на фиг. 9, так что описание опускается.
[0323] На этапе S2804, в отличие от нормального процесса, камера панорамируется/наклоняется таким образом, что направление, в котором обнаруживается направление звука, включается в угол обзора.
[0324] На этапе S2805, определяется то, имеется или нет человек в пределах угла обзора в направлении звука. Когда человек имеется, человек рассматривается в качестве источника, который формирует звук или голосовую команду, и процесс переходит к этапу S2806 для съемки человека.
[0325] На этапе S2806, камера панорамируется/наклоняется или масштабируется таким образом, что человек включается в угол обзора, и затем процесс переходит к операции начала съемки этапа S2812.
[0326] Этап S2807-S2815 являются процессами, аналогичными S905-S913 по фиг. 9, так что описание опускается.
[0327] При таком процессе, может ожидаться эффект возможности выполнять съемку без пропуска возможности выполнять съемку очень интересного момента, такого как ободряющее восклицание. Также возможна съемка, которая сразу реагирует на намерение человека, который произносит голосовую команду.
[0328] (3) Пробуждение на основе других условий
Во время пробуждения на основе других условий (например, определения истечения времени, описанного на фиг. 8), процесс выполняется в соответствии с базовой последовательностью по фиг. 9. При этой конфигурации, автоматическая съемка выполняется только тогда, когда важный объект требуется, так что уменьшаются потребление электрической мощности и расходование доступной емкости устройства хранения данных.
[0329] Согласно вышеописанному варианту осуществления, возможны следующие функции.
[0330] (1) Запуск
Процесс поиска и съемки после запуска изменяется согласно условию запуска.
[0331] Таким образом, согласно тому, что оборудование фиксации изображений запускается, процесс после запуска (определение автоматической съемки, процесс поиска или процесс определения сна) изменяется. Таким образом, это может разрешать такую проблему, что требуется время, когда равномерная последовательность запуска выполняется каждый раз, и как результат, возможность фотографирования пропускается, или объект, отличающийся от намерения пользователя, снимается.
Пример 1. При пробуждении посредством голоса, оборудование фиксации изображений обращено к направлению голоса и начинает поиск и определение съемки.
Пример 2. При пробуждении посредством постукивания, оборудование фиксации изображений выполняет поиск владельца (идентифицированного лица).
[0332] (2) Сон
Предусмотрено средство определения сцен с объектами, и оборудование фиксации изображений определяет необходимость переходить в автоматический сон согласно результату определения сцен. Время сна регулируется согласно результату определения. Предусмотрено средство для определения внутреннего состояния оборудования фиксации изображений, и оборудование фиксации изображений переходит в автоматический сон в соответствии с внутренним средством определения состояния.
[0333] Таким образом, оборудование фиксации изображений переходит в автоматический сон согласно объекту или сцене. Время сна также регулируется. Оборудование фиксации изображений переходит в автоматический сон согласно внутреннему состоянию процесса для оборудования фиксации изображений. Таким образом, может разрешаться такая проблема, что в случае сна просто на основе истекшего времени или отсутствия операции, эффект энергосбережения является низким, и возникают проблемы пропуска возможности фотографирования.
Пример 1. Когда отсутствует объект, оборудование фиксации изображений переключается на энергосбережение.
Пример 2. Когда возникает плохое изменение в сцене, оборудование фиксации изображений переводится в сон в течение большего времени.
Пример 3. Когда режим не соответствует ни одному из автоматического режима съемки, режима обучения, режима редактирования и режима передачи, оборудование фиксации изображений переводится в сон.
Пример 4. Уровень заряда аккумулятора
[0334] (3) Автоматическая передача изображений
Согласно, по меньшей мере, одному из условий, т.е. истекшему времени, значению оценки снятого изображения, уровню заряда аккумулятора и емкости карты, изображение автоматически передается, или частота передачи изображений автоматически определяется.
[0335] Таким образом, изображение автоматически передается согласно условию (при каждом истечении предварительно определенного времени, когда очень ценное изображение снимается). Частота передачи изображений автоматически определяется согласно условию (когда уровень заряда аккумулятора является низким, передача изображений становится затруднительной; когда частота съемки задается равной высокой частоте, частота передачи также увеличивается; когда доступная емкость носителя хранения данных является небольшой, частота передачи увеличивается). Таким образом, может разрешаться такая проблема, что, когда передача изображений выполняется согласно инструкции пользователя, имеется время для ожидания процесса передачи, либо емкость внешнего оборудования уплотняется в зависимости от пользователя для предписанной частоты передачи или передаваемого числа изображений.
[0336] (4) Обучение
Оборудование фиксации изображений автоматически переходит в режим обучения согласно, по меньшей мере, одному из условий, т.е. истекшему времени, степени накопления обучающих данных, результату определения текущей сцены или объекта, диспетчеризованному времени, возможности будущей съемки и времени выключения подачи мощности.
[0337] Таким образом, оборудование фиксации изображений автоматически переходит в режим обучения согласно условию (автоматическая съемка не выполняется в течение определенного времени, к примеру, когда накоплены новые обучающие данные в объеме, большем или равном предварительно определенному объему, когда истечение времени от последнего обучения является существенным, или когда отличимые объекты не присутствуют в окрестностях). Таким образом, может разрешаться такая проблема, что если такое условие, что режим съемки переходит в режим обучения, не задается надлежащим образом, возникает время для того, чтобы ожидать процесса обучения, или электрическая мощность бесполезно расходуется.
[0338] (5) Автоматическое удаление изображения
Автоматическое удаление выполняется согласно условию. Целевое число изображений, которые должны удаляться, задается согласно частоте съемки и доступной емкости. "Изображения, вручную снимаемые пользователем", "изображения, высоко оцененные пользователем" и "изображения, имеющие высокий количественный показатель важности, вычисленный посредством оборудования фиксации изображений" удалять затруднительно. "Изображения, передаваемые во внешнее оборудование" и "изображения, не видимые пользователем даже сразу" удалять просто. Когда полученные видео с основными моментами снимаются с короткими интервалами, старые файлы могут предпочтительно удаляться. Когда полученные видео с основными моментами снимаются с длительными интервалами, файлы, старые, но имеющие высокий количественный показатель, могут задаваться таким образом, что они не удаляются. Когда обучение выполняется таким образом, что частота видеосъемки увеличивается, больше обычного изображений могут автоматически удаляться.
[0339] Таким образом, может разрешаться такая проблема, что автоматическая съемка не может выполняться, когда отсутствует доступная емкость и последовательное удаление по одному вручную пользователем является сложным.
[0340] (6) Автоматическое редактирование
Согласно, по меньшей мере, одному из условий, т.е. степени накопления снятых изображений, истекшему времени от последнего редактирования, значению оценки каждого снятого изображения и временному периоду, процесс редактирования автоматически выполняется.
[0341] Таким образом, может разрешаться такая проблема, что, когда движущееся изображение в виде фото-истории создается согласно инструкции пользователя, имеется время для ожидания процесса создания, и удобство и простота использования является плохой.
[0342] В вышеописанной "Конфигурации аксессуаров", описывается приспособление для соединения с другой камерой 3201 со ссылкой на фиг. 32. В дальнейшем описывается пример случая, в котором оборудование 101 фиксации изображений и другая камера 3201 выполняют съемку совместно друг с другом.
[0343] В качестве существующей технологии известен способ съемки одновременно посредством разблокировки одной из камер таким образом, чтобы совпадать по времени разблокировки другой камеры между камерами.
[0344] В настоящем варианте осуществления, съемка выполняется совместно между камерами; тем не менее, до того, как кнопка 3203 разблокировки камеры 3201 нажимается, оборудование 101 фиксации изображений начинает съемку до того, как камера 3201 выполняет съемку, посредством прогнозирования нажатия разблокировки.
[0345] Оборудование 101 фиксации изображений выполняет автоматическую съемку с помощью способа, аналогичного способу описанной автоматической съемки. В это время, выполняется обучение для прогнозирования времени, когда камера 3201 выполняет съемку. Когда совместная съемка выполняется, определение автоматической съемки выполняется с помощью этой сети.
[0346] В дальнейшем описывается операция оборудования 101 фиксации изображений в конфигурации, в которой пользователь управляет камерой 3201 таким образом, чтобы выполнять съемку. Фиг. 33 показывает блок-схему последовательности операций способа оборудования 101 фиксации изображений.
[0347] Здесь, в дальнейшем описывается пример, в котором камера 3201 выполняет съемку неподвижного изображения, и оборудование 101 фиксации изображений выполняет съемку движущегося изображения.
[0348] Когда процесс в режиме съемки начинается, первоначально на этапе S3301 определяется то, представляет собой режим или нет режим взаимодействия с камерой. Когда режим представляет собой режим взаимодействия, процесс переходит к этапу S3303; тогда как, когда режим не представляет собой режим взаимодействия, процесс переходит к этапу S3302.
[0349] Режим взаимодействия может определяться согласно тому, соединяются либо нет камера 3201 и оборудование 101 фиксации изображений по проводам или в беспроводном режиме, или может задаваться с помощью интеллектуального устройства 301.
[0350] На этапе S3202, режим не представляет собой режим взаимодействия с камерой, так что процесс, описанный со ссылкой на фиг. 9, выполняется, процесс в режиме съемки завершается, и процесс ожидает следующего цикла вычисления. На этапе S3303, информация загружается из камеры 3201. Информация относительно нажатия переключателя разблокировки камеры 3201, информация состояния включения подачи мощности, информация относительно объекта из изображения и т.п. предоставляется в оборудование 101 фиксации изображений в качестве информации, и процесс переходит к этапу S3304.
[0351] На этапе S3304, определяется то, выполняет или нет оборудование 101 фиксации изображений съемку. Когда оборудование 101 фиксации изображений не выполняет съемку, процесс переходит к этапу S3305; тогда как, когда оборудование 101 фиксации изображений выполняет съемку, процесс переходит к этапу S3306. На этапе S3305, определяется то, начинает или нет камера 3201 съемку. Когда камера 3201 начинает съемку, процесс переходит к этапу S3310, съемка оборудования 101 фиксации изображений начинается, процесс в режиме съемки завершается, и процесс ожидает следующего цикла вычисления. Когда камера 3201 не начинает съемку на этапе S3305, процесс переходит к этапу S3307 и выполняет процесс определения автоматической съемки. Процесс определения автоматической съемки может реализовываться с помощью способа, аналогичного способу, описанному со ссылкой на фиг. 12. В это время, определение может выполняться посредством использования как информации из камеры 3201, так и информации из оборудования 101 фиксации изображений в качестве вводов количества признаков, или определение может выполняться посредством использования информации только из любого из них.
[0352] Когда процесс определения автоматической съемки завершается, процесс переходит к этапу S3308, и определяется то, следует или нет начинать съемку в процессе определения автоматической съемки. Когда начало автоматической съемки определяется, процесс переходит к этапу S3309, и оборудование 101 фиксации изображений начинает автоматическую съемку. Когда начало автоматической съемки не определяется, съемка не выполняется, процесс в режиме съемки завершается, и процесс ожидает следующего цикла вычисления.
[0353] Когда на этапе S3304 определяется то, что съемка выполняется после начала съемки на этапе S3310 или S3309, процесс определения завершения съемки выполняется на этапе S3306. После этого, когда завершение съемки определяется, процесс переходит к этапу S3311, и оборудование 1010 фиксации изображений завершает съемку. Когда завершение съемки не определяется, процесс в режиме съемки завершается в то время, когда съемка выполняется как есть, и процесс ожидает следующего цикла вычисления.
[0354] Процесс определения автоматической съемки может реализовываться с помощью способа, аналогичного способу, описанному со ссылкой на фиг. 12. В это время, определение может выполняться посредством использования как информации из камеры 3201, так и информации из оборудования 101 фиксации изображений в качестве вводов количества признаков, или определение может выполняться посредством использования информации только из любого из них.
[0355] В этой конфигурации, оборудование 101 фиксации изображений выполнено с возможностью выполнять автоматическую съемку. Альтернативно, оборудование 101 фиксации изображений может непрерывно выполнять съемку движущегося изображения, присоединять тег к важному временному кадру и записывать тег в конечный файл с движущимися изображениями.
[0356] Время совместной автоматической съемки может изучаться посредством использования результатов съемки.
[0357] Например, когда оборудование 101 фиксации изображений не выполняет автоматическую съемку, или когда камера 3201 начинает съемку, количества признаков, которые представляют собой вводы по фиг. 12 в это время в качестве обучающих данных, сохраняются в качестве некорректных данных.
[0358] Когда оборудование 101 фиксации изображений выполняет автоматическую съемку, или когда камера 3201 начинает съемку, количества признаков, которые представляют собой вводы по фиг. 12 в это время в качестве обучающих данных, сохраняются в качестве корректных данных.
[0359] Когда оборудование 101 фиксации изображений выполняет автоматическую съемку, или когда камера 3201 не начинает съемку после истечения предварительно определенного времени, количества признаков, которые представляют собой вводы по фиг. 12 в это время в качестве обучающих данных, сохраняются в качестве некорректных данных.
[0360] Когда обучающие данные накапливаются в объеме, большем или равном предварительно определенному объему, обучающие данные изучаются, и весовые коэффициенты нейронной сети по фиг. 12 изменяются.
[0361] В дальнейшем описывается пример, в котором камера 3201 выполняет съемку неподвижного изображения, и оборудование 101 фиксации изображений выполняет съемку движущегося изображения; тем не менее, способ съемки не ограничен этим. Следующие шаблоны могут выбираться вручную с помощью интеллектуального устройства 301 и т.п.
[0362] Следующие шаблоны могут выбираться автоматически посредством оборудования 101 фиксации изображений. Когда выбираются автоматически, то, какой шаблон используется для того, чтобы выполнять съемку, также автоматически определяется.
[0363] Например, когда камера 3201 выполняет съемку неподвижного изображения, оборудование 101 фиксации изображений выполняет съемку движущегося изображения.
[0364] Альтернативно, например, когда камера 3201 выполняет съемку неподвижного изображения, оборудование 101 фиксации изображений выполняет съемку неподвижного изображения.
[0365] Альтернативно, когда камера 3201 выполняет съемку движущегося изображения, оборудование 101 фиксации изображений выполняет съемку неподвижного изображения.
[0366] Альтернативно, когда камера 3201 выполняет съемку движущегося изображения, оборудование 101 фиксации изображений выполняет съемку движущегося изображения.
[0367] Ориентации и углы обзора направлений вдоль оптической оси камеры 3201 и оборудования 101 фиксации изображений могут выбираться вручную или выбираться автоматически.
[0368] Например, направления вдоль оптической оси камеры 3201 и оборудования 101 фиксации изображений ориентируются в идентичном направлении.
[0369] Альтернативно, например, направления вдоль оптической оси камеры 3201 и оборудования 101 фиксации изображений ориентируются в различных направлениях.
[0370] Углы обзора камеры 3201 и оборудования 101 фиксации изображений являются идентичными.
[0371] Альтернативно, углы обзора камеры 3201 и оборудования 101 фиксации изображений отличаются.
[0372] Даже когда оборудование 101 фиксации изображений выполняет съемку неподвижного изображения, оборудование 101 фиксации изображений может прогнозировать время перед началом съемки и, в течение периода автоматической съемки, автоматически выполнять съемку не только одного изображения, но также и нескольких изображений.
[0373] В настоящем варианте осуществления, описывается пример, в котором оборудование 101 фиксации изображений соединяется со вспомогательным башмаком 3202 камеры 3201 и используется; тем не менее, конфигурация не ограничена этим. Например, оборудование 101 фиксации изображений может устанавливаться на другом элементе (например, на винтовой резьбе треноги и т.п.) камеры 3201 или может использоваться без непосредственной установки на камере 3201 (например, носиться на пользователе носимым способом, и информация предоставляется через беспроводную связь).
[0374] В настоящем варианте осуществления, описывается пример, в котором оборудование 101 фиксации изображений снимает изображение посредством прогнозирования того, что камера 3201 снимает изображение, заранее. Альтернативно, непосредственно камера 3201 может прогнозировать съемку заранее. В этом случае, когда определяется необходимость выполнять съемку через прогнозирование заранее, камера 3201 может выводить инструкцию для того, чтобы начинать съемку, в оборудование 101 фиксации изображений, в силу этого выполняя взаимодействие с камерой, съемка с упреждающим прогнозированием может выполняться.
[0375] Уведомление относительно информации между камерой 3201 и оборудованием 101 фиксации изображений может быть выполнено с возможностью предоставляться только во время разблокировки. Обнаруженная информация как камеры 3201, так и оборудования 101 фиксации изображений может использоваться для того, чтобы определять начало съемки. Альтернативно, обнаруженная информация только оборудования 101 фиксации изображений может использоваться для того, чтобы определять начало съемки.
[0376] Обучение с использованием камеры 3201
(1) Передача информации камеры 3201 в оборудование 101 фиксации изображений
Например, основной объект извлекается из изображения, снятого посредством камеры 3201 через пользовательскую операцию.
[0377] Затем информация объекта предоставляется в оборудование 101 фиксации изображений и задается. После этого, оборудование 101 фиксации изображений определяет то, является или нет объект важным, на основе числа снятых изображений объекта, регистрирует объект и выполняет автоматическую съемку, отслеживание и т.п.
[0378] (2) Регистрация объекта с информацией, полученной в оборудовании 101 фиксации изображений, в момент времени начала разблокировки
Например, время, когда камера 3201 выполняет съемку, предоставляется в оборудование 101 фиксации изображений через пользовательскую операцию. Затем важный объект задается из изображения в оборудовании 101 фиксации изображений во время съемки. После этого, оборудование 101 фиксации изображений определяет то, является или нет объект важным, на основе числа снятых изображений объекта, регистрирует объект и выполняет автоматическую съемку, отслеживание и т.п.
[0379] Уведомление относительно информации из оборудования 101 фиксации изображений в камеру 3201
В дальнейшем описывается пример, в котором другой камере 3201 помогает информация из оборудования 101 фиксации изображений в случае, если съемка выполняется совместно между оборудованием 101 фиксации изображений и камерой 3201.
[0380] (1) Уведомление относительно информации объекта
Информация объекта, обнаруженная посредством оборудования 101 фиксации изображений (например, персонально зарегистрированное лицо, объект, такой как собака или кошка, определенный в качестве предпочтений владельца, или результат определения с ощущением того, что объект пользовательских предпочтений определяется), предоставляется в камеру 3201. После этого предоставляется то, где объект расположен в живом изображении камеры 3201, и то, какой объект присутствует за пределами изображения (например, транспортное средство присутствует в правой стороне экрана), и предоставляется то, имеется или нет объект пользовательских предпочтений.
[0381] (2) Уведомление относительно разблокировки
Оборудование 101 фиксации изображений может быть выполнено с возможностью предоставлять инструкцию съемки в камеру 3201.
[0382] С помощью способа, описанного в процессе в автоматическом режиме съемки, время съемки определяется, и инструкция автоматической съемки предоставляется в камеру 3201.
[0383] Может определяться то, приближается или нет конкретный объект к экрану камеры 3201, и непрерывная съемка или видеосъемка может выполняться в то время, когда конкретный объект входит на экран.
[0384] Согласно настоящему варианту осуществления, может предоставляться оборудование фиксации изображений, которое позволяет получать видеоизображение пользовательских предпочтений без специальных операций пользователя.
[0385] Варианты осуществления настоящего изобретения не ограничены вышеописанными вариантами осуществления. Различные изменения или модификации являются применимыми без отступления от сущности и объема настоящего изобретения. Следовательно, нижеприведенная формула изобретения прилагается для того, чтобы показывать объем настоящего изобретения.
[0386] Данная заявка притязает на приоритет заявки на патент (Япония) № 2017-188938, поданной 28 сентября 2017 года, № 2017-254231, поданной 28 декабря 2017 года, и № 2018-053078, поданной 20 марта 2018 года, которые настоящим полностью содержатся в данном документе по ссылке.
1. Оборудование фиксации изображений, содержащее:
узел фиксации изображений, выполненный с возможностью фиксации изображения объекта;
узел изменения, выполненный с возможностью изменения ориентации узла фиксации изображений, чтобы поворачивать ориентацию узла фиксации изображений к объекту;
узел обнаружения объекта, выполненный с возможностью обнаружения объекта по данным изображения, зафиксированным узлом фиксации изображений;
узел обнаружения состояния, выполненный с возможностью обнаружения информации о состоянии удержания оборудования фиксации изображений; и
узел управления, выполненный с возможностью управления диапазоном изменения, в котором ориентация узла фиксации изображений изменяется узлом изменения на основе информации о состоянии удержания оборудования фиксации изображений, обнаруженной узлом обнаружения состояния.
2. Оборудование фиксации изображений по п. 1, в котором узел изменения выполнен с возможностью поворота узла фиксации изображений в направлении панорамирования и направлении наклона.
3. Оборудование фиксации изображений по п. 1, в котором информация об обнаружении объекта узлом обнаружения объекта вводится в нейронную сеть и диапазон изменения обучается.
4. Оборудование фиксации изображений по п. 1, в котором зафиксированное изображение вводится в нейронную сеть и диапазон изменения обучается.
5. Оборудование фиксации изображений по п. 1, в котором состояние удержания оборудования фиксации изображений включает в себя по меньшей мере одно из состояния перемещения транспортного средства, состояния стационарного захвата, состояния удержания в руке, состояния подвешивания на шее и состояния пригодности для ношения.
6. Оборудование фиксации изображений по п.1, в котором информация о состоянии удержания оборудования фиксации изображений является информацией приспособления о присоединении приспособления к оборудованию фиксации изображений.
7. Оборудование фиксации изображений по п. 1, дополнительно содержащее узел автоматической съемки, выполненный с возможностью осуществления процесса съемки, побуждающего узел фиксации изображений фиксировать изображение и записывать данные изображения зафиксированного изображения на основе информации об объекте, обнаруженном узлом обнаружения объекта.
8. Оборудование фиксации изображений по п. 7,
в котором объект, обнаруженный узлом обнаружения объекта, является лицом человека и
в котором автоматически снятое изображение представляет собой снятое изображение, снятое в соответствии с частотой появления искомого объекта и выражения лица.
9. Оборудование фиксации изображений по п.7,
в котором конкретный объект является объектом и
в котором автоматически снятое изображение представляет собой снятое изображение, снятое в соответствии с распознаванием объектов.
10. Оборудование фиксации изображений по п. 7, в котором узел автоматической съемки выполнен с возможностью осуществления процесса съемки посредством использования параметра, сформированного на основе машинного обучения.
11. Способ управления для управления оборудованием фиксации изображений, включающим в себя узел фиксации изображений, выполненный с возможностью фиксации изображения объекта, причем способ управления содержит:
изменение ориентации узла фиксации изображений, чтобы поворачивать ориентацию узла фиксации изображений к объекту;
обнаружение объекта по данным изображения, зафиксированным узлом фиксации изображений;
обнаружение информации о состоянии удержания оборудования фиксации изображений; и
управление диапазоном изменения, в котором ориентация узла фиксации изображений изменяется при изменении на основе информации о состоянии удержания оборудования фиксации изображений, обнаруженной при обнаружении.
12. Компьютерно-читаемый носитель данных, хранящий программу, побуждающую компьютер осуществлять этапы способа управления по п.11.
