Устройство управления отображением, устройство формирования изображения, способ управления и компьютерно-читаемый носитель

Изобретение относится к устройствам управления отображением. Технический результат заключается в обеспечении возможности более точного отображения графического изображения в случае, когда часть широкодиапазонного изображения отображается в качестве диапазона отображения в блоке отображения, и графическое изображение дополнительно отображается. Устройство содержит блок управления отображением, сконфигурированный, чтобы выполнять управление так, чтобы отображать часть изображения, соответствующую направлению просмотра, на экране, блок изменения, сконфигурированный, чтобы изменять часть изображения в соответствии с изменением направления просмотра, при этом, в случае, когда часть изображения является диапазоном, захватываемым в конкретном направлении в изображении, блок управления отображением выполняет управление так, чтобы отображать графическое изображение, наложенное на часть изображения. 9 н. и 13 з.п. ф-лы, 16 ил.

 

Уровень техники

Область техники, к которой относится изобретение

[0001] Настоящее изобретение относится к устройству управления отображением, устройству формирования изображения, способу управления и компьютерному читаемому носителю.

Описание предшествующего уровня техники

[0002] Устройство формирования изображения, которое может легко захватывать сферическое изображение полного обзора на 360° (всенаправленное изображение, полное круговое изображение, изображение на 360°) посредством одной операции формирования изображения, является известным. Устройство формирования изображения, которое может захватывать изображение, которое не достигает 360°, но находится в широком диапазоне, больше 180°, также является известным. Дополнительно, также известен способ отображения части изображения, захваченного посредством такого устройства формирования изображения (изображения, захватывающего широкий диапазон; широкодиапазонного изображения), в качестве диапазона отображения на дисплее (устройстве для отображения) и изменения диапазона отображения на основе пользовательского действия (включающего в себя изменение ориентации блока отображения).

[0003] В широкодиапазонном изображении, которое является цифровой фотографией, фотограф, удерживающий устройство формирования изображения, фиксирующий инструмент, чтобы фиксировать устройство формирования изображения (например, трипод) и т.п. захватываются. Фотограф часто захватывает изображение, протягивая свою руку прямо вверх, чтобы поддерживать устройство формирования изображения для того, чтобы захватывать изображение во всех направлениях. Следовательно, является более вероятным, что фотограф, фиксирующий инструмент и т.п. захватываются в диапазоне, изображаемом в направлении земли.

[0004] Устройство формирования изображения согласно публикации японской патентной заявки № 2003–244511 конфигурируется так, что рукоятка располагается непосредственно под устройством формирования изображения, так что фотограф, фиксирующий инструмент и т.п. не захватываются в изображении, т.е. диапазон непосредственно ниже и непосредственно выше не захватываются в изображении. Однако, в случае устройства формирования изображения согласно публикации японской патентной заявки № 2003–244511, которое не захватывает диапазон непосредственно ниже и непосредственно выше устройства в изображении, идеальное всенаправленное изображение не может быть получено.

Сущность изобретения

[0005] Когда целевое изображение (изображение цели отображения) отображается на устройстве для отображения, графическое изображение (строка символов и значок), которое указывает информацию, связанную с целевым изображением, и состояние устройства для отображения, могут быть отображены. Когда такое графическое изображение отображается, обычно используются следующие два способа: способ отображения графического изображения так, чтобы накладываться на целевое изображение; и способ отображения целевого изображения в небольшом размере на части поверхности отображения, и отображения графического изображения на другом фрагменте (в пустом пространстве) поверхности отображения. В случае первого способа, однако, целевое изображение может быть визуально нарушено графическим изображением, поскольку графическое изображение накладывается на целевое изображение. И в случае второго изображения, видимость целевого изображения падает, поскольку целевое изображение отображается небольшим.

[0006] В случае технологии согласно публикации японской патентной заявки № 2009–21733, один из множества шаблонов выбирается согласно пользовательскому действию, и символьная информация отображается в позиции, соответствующей выбранному шаблону. Однако даже если технология согласно публикации японской патентной заявки № 2009–21733 используется, позиция, соответствующая выбранному шаблону, необязательно является оптимальной позицией, и видимость целевого изображения может быть нарушена графическим изображением.

[0007] Принимая во внимание вышеупомянутое, настоящее изобретение предоставляет технологию, которая предоставляет возможность отображения графического изображения более надлежащим образом в случае, когда часть широкодиапазонного изображения отображается в качестве диапазона отображения в блоке отображения, и графическое изображение дополнительно отображается.

[0008] Настоящее изобретение в своем первом аспекте предоставляет устройство управления отображением, содержащее:

блок управления отображением, сконфигурированный, чтобы выполнять управление так, чтобы отображать часть изображения, соответствующую направлению просмотра, на экране; и

блок изменения, сконфигурированный, чтобы изменять часть изображения в соответствии с изменением направления просмотра,

при этом в случае, когда часть изображения является диапазоном, захваченным в конкретном направлении в изображении, блок управления отображением выполняет управление так, чтобы отображать графическое изображение, наложенное на часть изображения.

[0009] Настоящее изобретение в своем втором аспекте предоставляет устройство формирования изображения, содержащее:

блок получения, сконфигурированный, чтобы получать изображение посредством выполнения обработки захвата изображения;

блок обнаружения, сконфигурированный, чтобы обнаруживать ориентацию устройства формирования изображения, когда выполняется обработка захвата изображения;

блок спецификации, сконфигурированный, чтобы указывать позицию, в которой конкретное направление в изображении захватывается, на основе ориентации, обнаруженной посредством блока обнаружения; и

блок объединения, сконфигурированный, чтобы формировать объединенное изображение посредством наложения графического изображения на полученное изображение в позиции, указанной посредством блока спецификации.

[0010] Настоящее изобретение в своем третьем аспекте предоставляет способ управления для устройства управления отображением, способ управления содержит:

этап управления отображением для выполнения управления так, чтобы отображать часть изображения, соответствующую направлению просмотра, на экране; и

этап изменения для изменения части изображения в соответствии с изменением направления просмотра,

при этом в случае, когда часть изображения является диапазоном, захваченным в конкретном направлении в изображении, на этапе управления отображением, управление выполняется так, чтобы отображать графическое изображение, наложенное на часть изображения.

[0011] Настоящее изобретение в своем четвертом аспекте предоставляет способ управления для устройства формирования изображения, способ управления содержит:

этап получения для получения изображения посредством выполнения обработки захвата изображения;

этап обнаружения для обнаружения ориентации устройства формирования изображения, когда выполняется обработка захвата изображения;

этап спецификации для указания позиции, в которой конкретное направление в изображении захватывается, на основе ориентации, обнаруженной на этапе обнаружения; и

этап объединения для формирования объединенного изображения посредством наложения графического изображения на полученное изображение в позиции, указанной на этапе спецификации.

[0012] Настоящее изобретение в своем пятом аспекте предоставляет компьютерно-читаемый носитель, который хранит программу, при этом программа инструктирует компьютеру исполнять способ управления для устройства управления отображением, способ управления содержит:

этап управления отображением, на котором выполняют управление так, чтобы отображать часть изображения, соответствующую направлению просмотра, на экране; и

этап изменения, на котором изменяют часть изображения в соответствии с изменением направления просмотра,

при этом в случае, когда часть изображения является диапазоном, захваченным в конкретном направлении в изображении, на этапе управления отображением, управление выполняется так, чтобы отображать графическое изображение, наложенное на часть изображения.

Настоящее изобретение в своем шестом аспекте предоставляет компьютерно-читаемый носитель, который хранит программу, при этом программа инструктирует компьютеру исполнять способ управления для устройства формирования изображения, способ управления содержит:

этап получения для получения изображения посредством выполнения обработки захвата изображения;

этап обнаружения для обнаружения ориентации устройства формирования изображения, когда выполняется обработка захвата изображения;

этап спецификации для указания позиции, в которой конкретное направление в изображении захватывается, на основе ориентации, обнаруженной на этапе обнаружения; и

этап объединения для формирования объединенного изображения посредством наложения графического изображения на полученное изображение в позиции, указанной на этапе спецификации.

[0013] Согласно настоящему изобретению, в случае, когда часть широкодиапазонного изображения отображается в качестве диапазона отображения в блоке отображения, и графическое изображение дополнительно отображается, графическое изображение может быть отображено более надлежащим образом.

[0014] Дополнительные признаки настоящего изобретения станут очевидны из последующего описания примерных вариантов осуществления со ссылкой на приложенные чертежи.

Краткое описание чертежей

[0015] Фиг. 1A и фиг. 1B – это внешние виды цифровой камеры согласно этому варианту осуществления, и фиг. 1C – это блок–схема, изображающая цифровую камеру согласно этому варианту осуществления;

Фиг. 2A – это внешний вид устройства для отображения согласно этому варианту осуществления, фиг. 2B – это блок–схема, изображающая устройство для отображения согласно этому варианту осуществления, и фиг. 2C – это внешний вид очков виртуальной реальности (VR) согласно этому варианту осуществления;

Фиг. 3 – это блок–схема последовательности операций, изображающая обработку для воспроизведения изображения согласно этому варианту осуществления;

Фиг. 4A–4E – это изображения VR–дисплея согласно этому варианту осуществления;

Фиг. 5A–5C – это схемы, изображающие способ отображения графического изображения согласно этому варианту осуществления; и

Фиг. 6 – это блок–схема последовательности операций, изображающая обработку для захвата изображения согласно этому варианту осуществления.

Описание вариантов осуществления

[0016] Предпочтительные варианты осуществления настоящего изобретения будут описаны со ссылкой на чертежи. Фиг. 1A – это передний вид в перспективе (внешний вид) цифровой камеры 100, которая является примером устройства формирования изображения этого варианта осуществления. Фиг. 1B – это задний вид в перспективе (внешний вид) цифровой камеры 100. Цифровая камера 100 – это камера (всенаправленная камера, камера сферического изображения полного обзора) для захвата всенаправленного изображения (сферического изображения полного обзора).

[0017] Перегородка 102a является защитным окном для переднего блока камеры, диапазон захвата изображения которого является передней областью цифровой камеры 100. Передний блок камеры является блоком широкоугольной камеры, диапазон захвата изображения которого является широким диапазоном (например, диапазоном не менее 180° по вертикали и по горизонтали) в переднем направлении цифровой камеры 100, например. Перегородка 102b является защитным окном для заднего блока камеры, диапазон захвата изображения которого является задней областью цифровой камеры 100. Задний блок камеры является блоком широкоугольной камеры, диапазон захвата изображения которого является широким диапазоном (например, диапазоном не менее 180° по вертикали и по горизонтали) в заднем направлении цифровой камеры 100, например.

[0018] Блок 28 отображения отображает различную информацию. Кнопка 61 спуска затвора является операционным блоком (операционным элементом), который инструктирует захват изображения. Переключатель 60 селектора режима является операционным блоком, который переключается между различными режимами. I/F (интерфейс) 25 соединения является соединителем, который соединяет соединительный кабель с цифровой камерой 100, в результате чего, внешнее устройство (например, смартфон, персональный компьютер, ТВ) соединяется с цифровой камерой 100 через соединительный кабель. Операционный блок 70 включает в себя различные переключатели, кнопки, диски набора, сенсорные датчики или т.п., которые принимают различные операционные входные данные от пользователя. Переключатель 72 питания является нажимной кнопкой, чтобы включать/выключать источник питания.

[0019] Светоизлучающий блок (светоизлучающий элемент) 21 является светоизлучающим диодом (LED) или т.п. и сообщает различные состояния цифровой камеры 100 пользователю посредством шаблона излучения света или цвета излучаемого света. Фиксирующий блок 40 является, например, винтовым отверстием для трипода и используется для установки и закрепления цифровой камеры 100 на таком фиксирующем инструменте как трипод.

[0020] Фиг. 1C – это блок–схема, изображающая пример конфигурации цифровой камеры 100.

[0021] Перегородка 102a закрывает систему формирования изображения (например, линзу 103a формирования изображения, затвор 101a, блок 22a формирования изображения) переднего блока камеры, так, чтобы предотвращать загрязнение и повреждение системы формирования изображения. Линза 103a формирования изображения является линзовой группой, включающей в себя увеличительную линзу и фокусирующую линзу, и является широкоугольной линзой. Затвор 101a является затвором, имеющим функцию диафрагмы, которая регулирует падающее количество объектного светового пучка на блок 22a формирования изображения. Блок 22a формирования изображения является элементом восприятия изображения (датчиком изображения), состоящим из CCD и CMOS–элементов, чтобы преобразовывать оптическое изображение в электрические сигналы. A/D–преобразователь 23a преобразует аналоговый сигнал, выводимый из блока 22a формирования изображения, в цифровой сигнал. Линза 103a формирования изображения, затвор 101a и блок 22a формирования изображения управляются посредством блока 50 управления системой. Вместо размещения перегородки 102a, внешняя поверхность линзы 103a формирования изображения может быть выставлена так, что линза 103a формирования изображения предотвращает загрязнение и повреждение других компонентов системы формирования изображения (например, затвора 101a и блока 22a формирования изображения).

[0022] Перегородка 102b закрывает систему формирования изображения (например, линзу 103b формирования изображения, затвор 101b, блок 22b формирования изображения) заднего блока камеры, так, чтобы предотвращать загрязнение и повреждение системы формирования изображения. Линза 103b формирования изображения является линзовой группой, включающей в себя увеличительную линзу и фокусирующую линзу, и является широкоугольной линзой. Затвор 101b является затвором, имеющим функцию диафрагмы, которая регулирует падающее количество объектного светового пучка на блок 22b формирования изображения. Блок 22b формирования изображения является элементом восприятия изображения, состоящим из CCD и CMOS–элементов, чтобы преобразовывать оптическое изображение в электрические сигналы. A/D–преобразователь 23b преобразует аналоговый сигнал, выводимый из блока 22b формирования изображения, в цифровой сигнал. Линза 103b формирования изображения, затвор 101b и блок 22b формирования изображения управляются посредством блока 50 управления системой. Вместо размещения перегородки 102b, внешняя поверхность линзы 103b формирования изображения может быть выставлена так, что линза 103b формирования изображения предотвращает загрязнение и повреждение других компонентов системы формирования изображения (например, затвора 101b и блока 22b формирования изображения).

[0023] Изображение виртуальной реальности (VR) захватывается посредством блока 22a формирования изображения и блока 22b формирования изображения. VR–изображение является изображением, которое может быть VR–отображено (отображено в режиме отображения "VR–вид"). VR–изображение включает в себя всенаправленное изображение (сферическое изображение полного обзора), захваченное посредством всенаправленной камеры (камеры сферического изображения полного обзора), и панорамное изображение, имеющее диапазон картинки (эффективный диапазон картинки), который шире диапазона отображения, который может быть отображен в блоке отображения в одно и то же время. VR–изображение включает в себя не только фотоизображение, но также движущееся изображение и живое изображение (изображение, получаемое почти в реальном времени с камеры). VR–изображение имеет максимальный диапазон картинки (эффективный диапазон картинки), равный 360° по вертикали (вертикальный угол, угол от зенита, угол наклона, угол снижения, угол высоты, угол наклона в продольной плоскости) и 360° по горизонтали (горизонтальный угол, азимутальный угол, угол поворота вокруг вертикальной оси).

[0024] VR–изображение включает в себя изображение, имеющее широкий угол обзора (диапазон поля обзора), который шире угла обзора, который может захватывать обычная камера, или изображение, имеющее более широкий диапазон картинки (эффективный диапазон картинки), который шире диапазона отображения, который может быть отображен в блоке отображения в одно и то же время, даже если поле обзора таких изображений меньше 360° по вертикали и меньше 360° по горизонтали). Например, изображение, захваченное посредством камеры сферического изображения полного обзора, которая может захватывать объекты в поле обзора (с углом обзора), равном 360° в горизонтальном направлении (горизонтальный угол, азимутальный угол) и 210° в вертикальном направлении с зенитом в центре, является типом VR–изображения. Дополнительно, изображение, захваченное посредством камеры, которая может захватывать объекты в поле обзора (угле обзора, равном 180° в горизонтальном направлении (горизонтальный угол, азимутальный угол) и равном 180° в вертикальном направлении с зенитом в центре, является типом VR–изображения. Другими словами, изображение, имеющее диапазон картинки, поле обзора которого превышает 160° (±80°) в вертикальном направлении и горизонтальном направлении соответственно, и диапазон картинки, который шире диапазона, который человек может визуально распознавать в одно и то же время, является типом VR–изображения.

[0025] Когда это VR–изображение VR–отображается (отображается в режиме отображения "VR–вид"), бесшовная всенаправленная картинка может просматриваться в горизонтальном направлении (направлении поворота по горизонтали) посредством изменения ориентации устройства для отображения (устройства для отображения, которое отображает VR–изображение) в направлении поворота по горизонтали. В вертикальном направлении (направлении поворота по вертикали) бесшовная всенаправленная картинка может просматриваться в диапазоне ±105° от точки непосредственно над головой (зенит), но диапазон за пределами ±105° становится пустой областью, где картинка не существует. VR–изображение может быть определено как "изображение, диапазон картинки которого является, по меньшей мере, частью виртуального пространства (VR–пространства)".

[0026] VR–отображение (VR–вид) является способом отображения (режимом отображения), в котором диапазон отображения, чтобы отображать картинку в частичном диапазоне поля обзора (диапазоне отображения, области отображения), соответствующем направлению просмотра, назначенному в соответствии с ориентацией устройства для отображения, в VR–изображении, может быть изменен. В случае просмотра изображения во время ношения устанавливаемого на голову дисплея (HMD), который является устройством для отображения, картинка в диапазоне поля обзора, в соответствии с направлением лица пользователя, отображается. Например, предполагается, что картинка под углом поля обзора (углом обзора), равным 0° в горизонтальном направлении (конкретный азимут, такой как север), и 90° в вертикальном направлении (90° от зенита, т.е. горизонтальном направлении), отображается в некоторый момент времени. В этом состоянии, если ориентация устройства для отображения переворачивается спереди назад (например, устройство для отображения переключается с обращения на юг на обращение на север), диапазон отображения изменяется на картинку, угол поля обзора которой равен 180° в горизонтальном направлении (противоположный азимут, такой как юг), и 90° в вертикальном направлении (горизонтальном). В случае, когда пользователь смотрит в HMD, если пользователь поворачивает свое лицо с севера на юг (т.е. оглядывается назад), картинка, отображаемая на HMD, также изменяется с картинки на севере на картинку на юге. Посредством этого VR–отображения ощущение (эффект погружения), как если бы находишься в VR–изображении (VR–пространстве), может быть визуально предоставлено пользователю. Смартфон, соединенный с VR–очками (устанавливаемым на голову адаптером), может рассматриваться в качестве типа HMD.

[0027] Способ отображения VR–изображения не ограничивается вышеупомянутым VR–отображением. Вместо изменения ориентации, действие пользователя с помощью предварительно определенного операционного элемента (например, сенсорной панели, кнопки направления) может быть обнаружено (обнаружение действия), так что диапазон отображения перемещается (прокручивается) в соответствии с действием пользователя. Действие пользователя с предварительно определенным операционным элементом является, например, касанием перемещения по сенсорной панели, действием перетаскивания мыши и нажатием кнопки направления. В VR–отображении (когда режим отображения является "VR–видом"), и обработка для изменения диапазона отображения в соответствии с изменением в ориентации, и обработка для изменения диапазона отображения в соответствии с действием пользователя с помощью предварительно определенного операционного элемента, могут быть выполнены.

[0028] Блок 24 обработки изображения выполняет предварительно определенную обработку (пиксельную интерполяцию, обработку изменения размера, такую как уменьшение масштаба, обработку преобразования цвета) по данным от A/D–преобразователя 23a или A/D–преобразователя 23b, или по данным от блока 15 управления памятью. Блок 24 обработки изображения также выполняет предварительно определенную арифметическую обработку с помощью данных захваченного изображения. Блок 50 управления системой выполняет управление экспозицией и управление измерением расстояния на основе результата вычисления, полученного посредством блока 24 обработки изображения. Таким образом, такая обработка как обработка автофокусировки (AF), обработка автоматической экспозиции (AE) и обработка предварительной вспышки (EF) выполняются. Дополнительно, блок 24 обработки изображения выполняет предварительно определенную арифметическую обработку с помощью данных захваченного изображения и выполняет обработку автоматического баланса белого (AWB) на основе полученного результата вычисления. Кроме того, блок 24 обработки изображения выполняет основную обработку изображения по двум изображениям (два изображения "рыбий глаз"; два широкоугольных изображения), полученных посредством A/D–преобразователя 23a и A/D–преобразователя 23b, и выполняет обработку соединения изображения, которая объединяет два изображения, после того как основная обработка изображения выполнена. Таким образом, формируется единое VR–изображение. Дополнительно, блок 24 обработки изображения выполняет обработку извлечения изображения, обработку изменения масштаба и обработку корректировки искажения, чтобы VR–отображать VR–изображение, когда VR–отображение выполняется в режиме живого просмотра, или когда VR–изображение воспроизводится, затем выполняет визуализацию посредством записи результата обработки в предварительно определенной области хранения (VRAM) в памяти 32.

[0029] В обработке соединения изображения блок 24 обработки изображения рассматривает одно из этих двух изображений в качестве эталонного изображения, а другое в качестве сравниваемого изображения, и вычисляет величину отклонения между эталонным изображением и сравниваемым изображением для каждой области посредством обработки совпадения шаблона, затем обнаруживает позицию соединения, чтобы соединять два изображения, на основе величины отклонения для каждой области. После этого, блок 24 обработки изображения корректирует искажение каждого изображения посредством геометрического преобразования, учитывая обнаруженную позицию соединения и характеристики линзы каждой оптической системы. Таким образом, каждое изображение преобразуется в изображение в сферическом формате полного обзора (формате сферического изображения полного обзора). Затем блок 24 обработки изображения формирует одно сферическое изображение полного обзора (VR–изображение) посредством объединения (слияния) двух изображений в сферическом формате полного обзора. Сформированное сферическое изображение полного обзора является изображением, основанным на равноудаленной цилиндрической проекции, например, и позиция каждого пиксела сферического изображения полного обзора может соответствовать координатам на поверхности сферы (VR–пространства).

[0030] Выходные данные от A/D–преобразователей 23a и 23b записываются в память 32 посредством блока 24 обработки изображения и блока 15 управления памятью или посредством блока 15 управления памятью без использования блока 24 обработки изображения. Память 32 хранит данные изображения, которые были получены посредством блоков 22a и 22b формирования изображения и преобразованы в цифровые данные посредством A/D–преобразователей 23a и 23b, и данные изображения, которые должны быть выведены из I/F 25 соединения внешнему устройству для отображения. Память 32 имеет достаточную емкость памяти, чтобы хранить предварительно определенное число статических изображений и предварительно определенное время движущихся изображений и звуков.

[0031] Память 32 также используется в качестве памяти для отображаемых изображений (видеопамяти). Данные, чтобы отображать изображения, сохраненные в памяти 32, могут быть выведены из I/F 25 соединения внешнему устройству для отображения. Если VR–изображения, которые были захвачены посредством блоков 22a и 22b формирования изображения, и сформированы посредством блока 24 обработки изображения и сохранены в памяти 32, последовательно передаются внешнему устройству для отображения и отображаются, функционирование в качестве электронного видоискателя может быть реализовано, и отображение живого вида (LV–отображение) может быть выполнено. Изображение, отображаемое посредством отображения живого вида, далее в данном документе называется изображением живого вида (LV–изображением). Если VR–изображение, сохраненное в памяти 32, последовательно передается внешнему устройству (например, смартфону), которое беспроводным образом соединяется через блок 54 связи, и отображается, живое отображение (удаленное LV–отображение) может быть реализовано.

[0032] Цифровая камера 100 может включать в себя блок отображения основной части, который может отображать изображение, и картинка, эквивалентная картинке, которая была описана выше как картинка, выводимая из I/F 25 соединения и отображаемая на внешнем устройстве для отображения, может быть отображена в блоке отображения основной части.

[0033] Энергонезависимая память 56 является памятью, которая является носителем записи, на котором данные могут быть записаны и стерты электрическим образом, и является EEPROM, например. В энергонезависимой памяти 56 записываются константы, программы и т.п., чтобы задействовать блок 50 управления системой. Программа здесь ссылается на компьютерную программу, чтобы исполнять различную обработку в блок–схемах последовательности операций, которые будут описаны позже в этом варианте осуществления.

[0034] Блок 50 управления системой является блоком управления, который включает в себя, по меньшей мере, один процессор или схему и управляет цифровой камерой 100 в целом. Блок 50 управления системой реализует каждую позже упомянутую обработку этого варианта осуществления, исполняя программы, записанные в вышеупомянутой энергонезависимой памяти 56. Системная память 52 является RAM, например, и блок 50 управления системой создает, в системной памяти 52, константы и переменные, чтобы задействовать блок 50 управления системой, и программы, считанные из энергонезависимой памяти 56. Блок 50 управления системой также управляет отображением, управляя памятью 32, блоком 24 обработки изображения, блоком 15 управления памятью и т.п. Системный таймер 53 является блоком синхронизации, который измеряет время, используемое для различных управлений, и время внутреннего генератора синхронизирующих импульсов.

[0035] Селекторный переключатель 60 режима, кнопка 61 спуска затвора, операционный блок 70 и переключатель 72 питания используются, чтобы выводить различные операционные инструкции блоку 50 управления системой.

[0036] Селекторный переключатель 60 режима переключает режим работы блока 50 управления системой в один из: режима записи неподвижного изображения, режима захвата движущегося изображения, режима воспроизведения, режима коммуникационного соединения и т.п. Режимы, включенные в режим записи неподвижного изображения, являются: автоматическим режимом захвата изображения, автоматическим режимом распознавания сцены, ручным режимом, режимом приоритета диафрагмы (Av–режимом), режимом приоритета скорости затвора (Tv–режимом) и режимом программного AE. Различные режимы сцены и специальные режимы, чтобы настраивать захват изображения для каждой сцены захвата изображения, также содержатся. С помощью селекторного переключателя 60 режима пользователь может непосредственно переключаться в один из таких режимов. Пользователь может также переключать экран на экран списка режимов захвата изображения сначала с помощью селекторного переключателя 60 режима, затем может выбирать один из множества режимов, отображенных в блоке 28 отображения, с помощью другого операционного элемента. Таким же образом, режим захвата движущегося изображения может включать в себя множество режимов.

[0037] Кнопка 61 спуска затвора включает в себя первый переключатель 62 затвора и второй переключатель 64 затвора. Первый переключатель 62 затвора включается в середине срабатывания кнопки 61 спуска затвора, т.е. в наполовину нажатом состоянии (инструкция подготовки к захвату изображения) и формирует первый сигнал SW1 переключателя затвора. Блок 50 управления системой начинает операцию подготовки к захвату изображения по первому сигналу SW1 переключателя затвора, для обработки автофокусировки (AF), обработки автоматической экспозиции (AE), обработки автоматического баланса белого (AWB), предварительной вспышки (EF) и т.п. Второй переключатель 64 затвора включается при завершении срабатывания кнопки 61 спуска затвора, т.е. в полностью нажатом состоянии (инструкция захвата изображения), и формирует второй сигнал SW2 переключателя затвора. Блок 50 управления системой начинает последовательность операций захвата изображения по второму сигналу SW2 переключателя затвора, считывая сигналы от блоков 22a и 22b формирования изображения, чтобы записывать данные изображения на носитель 90 записи.

[0038] Кнопка 61 спуска затвора не ограничивается операционным элементом, который может выполнять два этапа срабатывания (нажатие наполовину и полное нажатие), но может быть операционным элементом, который может выполнять один этап нажатия. В этом состоянии операция подготовки к захвату изображения и обработка захвата изображения непрерывно выполняются посредством одного этапа нажатия. Эта операция является такой же, что и операция, которая выполняется, когда кнопка спуска затвора, которая может выполнять как нажатие наполовину, так и полное нажатие, полностью нажимается (случай, когда первый сигнал SW1 переключения затвора и второй сигнал SW2 переключения затвора формируются почти одновременно).

[0039] Посредством выбора и задействования различных функциональных значков и вариантов выбора, отображенных в блоке 28 отображения, соответствующие функции назначаются операционному блоку 70, и операционный блок 70 функционирует в качестве различных функциональных кнопок. Функциональные кнопки являются, например, кнопкой окончания, кнопкой возврата, кнопкой перемотки изображения вперед, кнопкой перескакивания, кнопкой предварительного просмотра и кнопкой изменения атрибутов. Например, когда нажимается кнопка меню, экран меню, где различные настройки могут быть выполнены, отображается в блоке 28 отображения. Пользователь может интуитивно выполнять различные настройки, задействуя операционный блок 70, в то же время просматривая экран меню, отображенный в блоке 28 отображения.

[0040] Переключатель 72 питания является нажимной кнопкой, чтобы включать/выключать источник питания. Блок 80 управления питанием состоит из цепи обнаружения аккумулятора, DC–DC–преобразователя, цепи переключения, которая переключает блокиратор, чтобы подавать энергию и т.п., и обнаруживает установку аккумулятора, тип аккумулятора и остаточную мощность аккумулятора, например. На основе этого результата обнаружения и инструкции от блока 50 управления системой блок 80 управления питанием управляет DC–DC–преобразователем и подает требуемое напряжение каждому блоку, включающему в себя носитель 90 записи, в течение требуемого периода. Блок 30 электропитания состоит из первичной батареи (например, щелочной аккумуляторной батареи, литиевой аккумуляторной батареи), вторичной батареи (например, NiCd–аккумуляторной батареи, NiMH–аккумуляторной батареи, Li–аккумуляторной батареи), AC–адаптера и т.п.

[0041] I/F 18 носителя записи является интерфейсом с таким носителем 90 записи как карта памяти и жесткий диск. Носитель 90 записи является носителем записи, чтобы записывать захваченное изображение (например, картой памяти), и состоит из полупроводниковой памяти, оптического диска, магнитного диска или т.п. Носитель 90 записи может быть сменным носителем записи, который является съемным с цифровой камеры 100, или может быть носителем записи, встроенным в цифровую камеру 100.

[0042] Блок 54 связи передает/принимает видеосигнал и аудиосигнал к/от внешнего устройства, соединенного беспроводным образом или через кабель. Блок 54 связи может также быть соединен с беспроводной локальной вычислительной сетью (LAN) и Интернетом и может связываться, через сеть, с внешним устройством (например, сервером) в сети. Блок 54 связи может также связываться с внешним устройством через Bluetooth® и Bluetooth® Low Energy. Блок 54 связи может передавать изображения (включающие в себя LV–изображения), захваченные посредством блоков 22a и 22b формирования изображения, и изображения, записанные на носителе 90 записи, и может принимать изображения и различную другую информацию от внешнего устройства.

[0043] Блок 55 обнаружения ориентации обнаруживает ориентацию цифровой камеры 100 относительно направления центра тяжести. На основе ориентации, обнаруженной посредством блока 55 обнаружения ориентации, может быть определено, являются ли изображения, захваченные посредством блоков 22a и 22b формирования изображения, изображениями, захваченными, когда цифровая камера 100 удерживалась в горизонтальной позиции, или изображениями, захваченными, когда цифровая камера 100 удерживалась в вертикальной позиции. Также может быть определено, являются ли изображения, захваченные посредством блоков 22a и 22b формирования изображения, изображениями, захваченными посредством наклона цифровой камеры 110 в направлении поворота (например, направлении поворота вокруг вертикальной оси, направлении поворота вокруг поперечной оси, направлении поворота вокруг продольной оси), и величина наклона может также быть определена. Блок 50 управления системой может записывать изображения с присоединением информации о направлении в соответствии с ориентацией, обнаруженной посредством блока 55 обнаружения ориентации, в файл изображения для VR–изображений, захваченных посредством блоков 22a и 22b формирования изображения, или поворачивая изображение (регулируя направление изображений так, чтобы корректировать наклон (корректировка зенита)). Что касается блока 55 обнаружения ориентации, один или комбинация из множества датчиков (например, датчика ускорения, гиродатчика, геомагнитного датчика, азимутального датчика, датчика высоты) могут быть использованы. С помощью датчика ускорения, гиродатчика, азимутального датчика или т.п., составляющих блок 55 обнаружения ориентации, движение цифровой камеры 100 (панорамирование, наклон, подъем, неподвижность) может также быть обнаружено.

[0044] Микрофон 20 улавливает звук вокруг цифровой камеры 100, который записывается как звук VR–изображения, которое является движущимся изображением (VR–движущееся изображение). I/F 25 соединения является соединительным штепселем, с которым HDMI®–кабель, USB–кабель или т.п. соединяется, чтобы передавать/принимать картинки к/от присоединенного внешнего устройства.

[0045] Фиг. 2A – это внешний вид устройства 200 для отображения, которое является примером устройства управления отображением согласно этому варианту осуществления. Устройство 200 для отображения является смартфоном, например. Блок 205 отображения отображает изображения и различную информацию. Блок 205 отображения объединяется с сенсорной панелью 206a, так что действие касания поверхности отображения блока 205 отображения может быть обнаружено. Устройство 200 для отображения может VR–отображать VR–изображение (VR–содержимое), сформированное посредством цифровой камеры 100, в блоке 205 отображения. Операционный блок 206b является кнопкой источника питания, чтобы включать/выключать электропитание для устройства 200 для отображения. Операционный блок 206c и операционный блок 206d являются кнопками громкости, чтобы увеличивать/уменьшать громкость звука, выводимого из блока 212 вывода звука. Операционный блок 206e является кнопкой начального экрана, чтобы отображать начальный экран в блоке 205 отображения. Терминал 212a для вывода звука является гнездом для наушников и терминалом для вывода аудиосигналов в наушники, внешний динами или т.п. Динамик 212b является встроенным динамиком для вывода звука.

[0046] Фиг. 2B – это блок–схема, изображающая пример конфигурации устройства 200 для отображения. CPU 201, память 202, энергонезависимая память 203, блок 204 обработки изображения, блок 205 отображения, операционный блок 206, I/F 207 носителя записи, внешний I/F 209 и I/F 210 связи соединяются с внутренней шиной 250. Дополнительно, блок 212 вывода звука и блок 213 обнаружения ориентации также соединяются с внутренней шиной 250. Каждый блок, соединенный с внутренней шиной 250, может обмениваться данными друг с другом через внутреннюю шину 250.

[0047] CPU 201 является блоком управления, который управляет устройством 200 для отображения в целом, и состоит, по меньшей мере, из одного процессора или схемы. Память 202 состоит из RAM (например, энергозависимой памяти, использующей полупроводниковый элемент), например. CPU 201 управляет каждым блоком устройства 200 для отображения в соответствии с программами, сохраненными в энергонезависимой памяти 203, с помощью памяти 202 в качестве рабочей памяти, например. В энергонезависимой памяти 203 хранятся данные изображения, аудиоданные, другие данные и различные программы для работы CPU 201. Энергонезависимая память 203 состоит из флеш–памяти или ROM, например.

[0048] На основе управления посредством CPU 201 блок 204 обработки изображения выполняет различную обработку изображения по изображениям, сохраненным в энергонезависимой памяти 203 и носителе 208 записи, сигналам изображений, полученным через внешний I/F 209, изображениям, полученным через I/F 210 связи, и т.п. Обработка изображения, выполняемая посредством блока 204 обработки изображения, включает в себя обработку A/D–преобразования, обработку D/A–преобразования, обработку кодирования данных изображения, обработку сжатия, обработку декодирования, обработку увеличения/уменьшения (изменения размера), обработку шумоподавления и обработку преобразования цвета. Дополнительно, блок 204 обработки изображения выполняет различные типы обработки изображения, такой как панорамная развертка, обработка картографии и преобразование VR–изображения, которое является всенаправленным изображением, или широкодиапазонным изображением, имеющим картинку в широком диапазоне, даже если оно не является всенаправленным изображением. Блок 204 обработки изображения может состоять из специализированного схемного блока, чтобы выполнять специальную обработку изображения. В зависимости от типа обработки изображения CPU 201 может выполнять обработку изображения в соответствии с программой, без использования блока 204 обработки изображения.

[0049] Блок 205 отображения отображает изображение и экран графического пользовательского интерфейса (GUI), например, на основе управления посредством CPU 201. CPU 201 формирует сигнал управления отображением в соответствии с программой и управляет каждым блоком устройства 200 для отображения так, что сигнал изображения, чтобы отображать изображение в блоке 205 отображения, формируется и выводится в блок 205 отображения. Блок 205 отображения отображает изображение на основе сформированного сигнала изображения. Устройство управления отображением согласно этому варианту осуществления может включать в себя конфигурацию вплоть до интерфейса, который выводит сигнал изображения, чтобы отображать изображение в блоке 205 отображения, и блок 205 отображения может состоять из внешнего монитора (например, ТВ, HMD).

[0050] Операционный блок 206 является устройством ввода, чтобы принимать пользовательское действие ввода, и включает в себя устройство ввода текстовой информации (например, клавиатуру), указывающее устройство (например, мышь, сенсорную панель), кнопки, диски набора, джойстик, датчик касания и сенсорную панель. В этом варианте осуществления операционный блок 206 включает в себя сенсорную панель 206a и операционные блоки 206b, 206c, 206d и 206e.

[0051] Носитель 208 записи, такой как карта памяти, CD и DVD, может быть съемным образом установлен в I/F 207 носителя записи. Носитель I/F 207 записи считывает данные с установленного носителя 208 записи или записывает данные на носитель 208 записи на основе управления посредством CPU 201. Например, что касается носителя 208 записи, носитель 90 записи, в котором сферическое изображение полного обзора, сформированное посредством цифровой камеры 100, записывается, может быть присоединен. В этом случае, сигналы изображения для VR–изображения считываются с носителя 208 записи и отображаются в блоке 205 отображения. Внешний I/F 209 является интерфейсом, который соединяет внешнее устройство беспроводным образом или через кабель и вводит/выводит видеосигналы и аудиосигналы. I/F 210 связи является интерфейсом, который связывается с внешним устройством, Интернетом 211 или т.п., и передает/принимает различные данные (например, файлы, инструкции). I/F 210 связи может связываться с внешним устройством через беспроводную LAN, кабельную LAN, Bluetooth®, Bluetooth® Low Energy или т.п.

[0052] Блок 212 вывода звука выводит звуки движущегося изображения и музыкальные данные (звуковые файлы), рабочие звуки, рингтоны и различные тоны уведомлений. Блок 212 вывода звука предполагает включение в себя терминала 212a для вывода звука для подключения наушников или т.п., и динамик 212b, но блок 212 вывода звука может выводить звуковые данные во внешний динамик через беспроводное соединение, например.

[0053] Блок 213 обнаружения ориентации обнаруживает ориентацию устройства 200 для отображения относительно направления центра тяжести. На основе ориентации, обнаруженной посредством блока 213 обнаружения ориентации, может быть определено, удерживается ли устройство 200 для отображения горизонтально или вертикально, направлено вверх или вниз, или повернуто в диагональную ориентацию или нет, например. Может также быть определено, является ли устройство 200 для отображения наклоненным в направлении вращения (например, направлении поворота вокруг вертикальной оси, направлении поворота вокруг поперечной оси, направлении поворота вокруг продольной оси), величина наклона, если наклонено, и повернуто ли устройство 200 для отображения в этом направлении поворота. Что касается блока 213 обнаружения ориентации, один или комбинация из множества датчиков (например, датчика ускорения, гиродатчика, геомагнитного датчика, азимутального датчика, датчика высоты) могут быть использованы. Если устройство управления отображением согласно этому варианту осуществления является отдельным устройством от устройства для отображения (в случае, когда блок 205 отображения является внешним монитором), блок 213 обнаружения ориентации может быть расположен не в устройстве управления отображением, а в устройстве для отображения.

[0054] Как описано выше, операционный блок 206 включает в себя сенсорную панель 206a. Сенсорная панель 206a является устройством ввода, которое конфигурируется как пластина, наложенная на блок 205 отображения, так что информация о координатах, соответствующая позиции касания, выводится. CPU 201 может обнаруживать следующие действия или состояния сенсорной панели 206a.

– Палец или перо, которое не касалось сенсорной панели 206a, коснулось сенсорной панели 206a, т.е. касание началось (далее в данном документе называется началом касания)

– Палец или перо касается сенсорной панели 206a (далее в данном документе называется продолжающимся касанием)

– Палец или перо перемещается в состоянии касания сенсорной панели 206a (далее в данном документе называется перемещающимся касанием)

– Палец или перо, которое касалось сенсорной панели 206a, снимается с сенсорной панели 206a, т.е. касание заканчивается (далее в данном документе называется окончанием касания)

– Ничто не касается сенсорной панели 206a (далее в данном документе называется отсутствием касания).

[0055] Когда обнаруживается начало касания, продолжающееся касание обнаруживается в то же самое время. Пока окончание касания не обнаруживается после начала касания, как правило продолжающееся касание непрерывно обнаруживается. Когда обнаруживается перемещающееся касание также, продолжающееся касание обнаруживается в то же самое время. Даже если продолжающееся касание обнаруживается, перемещающееся касание не обнаруживается, пока позиция касания не переместится. Когда окончание касания всех пальцев или пера, которое касалось сенсорной панели 206a, обнаруживается, обнаруживается окончание касания.

[0056] Эти операции и состояния, и координаты позиции на сенсорной панели 206a, где пальцы или перо выполняют прикосновение, сообщаются в CPU 201 по внутренней шине, и на основе сообщенной информации, CPU 201 определяет, какой вид действия (действия касания) был выполнен на сенсорной панели 206a. Что касается перемещающегося касания, направление перемещения пальца или пера, перемещающегося по сенсорной панели 206a, может также быть определено для каждого вертикального компонента и горизонтального компонента на сенсорной панели 206a на основе изменения координат позиции. Если перемещающееся касание, превышающее предварительно определенное расстояние, обнаруживается, определяется, что операция скольжения была выполнена.

[0057] Действие быстрого перемещения пальца, касающегося сенсорной панели 206a, на некоторое расстояние, в то же время непрерывно касаясь сенсорной панели 206a, затем снятие пальца, называется смахиванием. Другими словами, смахивание является действием быстрого перемещения пальца по сенсорной панели 206a. Определяется, что смахивание выполняется, когда перемещающееся прикосновение с предварительно определенной скоростью или более, по меньшей мере, в течение предварительно определенного расстояния, обнаруживается, и окончание касания немедленно обнаруживается после этого (определяется, что смахивание было выполнено после действия скольжения).

[0058] Действие касания множества мест (например, двух точек) одновременно и перемещения позиций касания близко друг к другу называется сведением, а действие перемещения этих позиций касания друг от друга называется разведением. Сведение и разведение совокупно называются действием движения двумя пальцами в разные стороны (или движением двумя пальцами в разные стороны) Что касается сенсорной панели 206a, любой тип сенсорной панели может быть использован, такой как тип резистивной пленки, емкостной тип, тип поверхностной акустической волны, инфракрасный тип, тип электромагнитной индукции, тип распознавания изображения и тип оптического датчика. Некоторые типы обнаруживают касание, когда выполняется касание сенсорной панели, а другие обнаруживают, когда палец или перо приближается к панели, но любой тип может быть использован.

[0059] Фиг. 2C является внешним видом VR–очков (устанавливаемого на голову адаптера) 300, на которых устройство 200 для отображения может быть установлено. Устройство 200 для отображения может быть использовано в качестве устанавливаемого на голову дисплея посредством установки в VR–очках 300. Щель 301 для вставки является щелью для вставки, чтобы вставлять устройство 200 для отображения. Все устройство 200 для отображения может быть вставлено в VR–очки 300 посредством позиционирования поверхности отображения блока 205 отображения в сторону головной повязки 302, чтобы прикреплять VR–очки 300 к голове пользователя (т.е. по направлению к пользователю). Пользователь может просматривать блок 205 отображения в состоянии ношения VR–очков 300, в которые устройство 200 для отображения вставляется, на своей голове без удерживания устройства 200 для отображения рукой. В этом случае, ориентация устройства 200 для отображения изменяется, когда пользователь перемещает свою голову или тело. Блок 213 обнаружения ориентации обнаруживает изменение в ориентации устройства 200 для отображения в это время, и CPU 201 выполняет обработку для VR–отображения на основе изменения в ориентации. Здесь, блок 213 обнаружения ориентации, обнаруживающий ориентацию устройства 200 для отображения, является эквивалентным обнаружению ориентации головы пользователя (направления, в котором направлена линия взгляда пользователя). Само устройство 200 для отображения может быть HMD, которое может быть надето на голову без использования VR–очков.

[0060] Устройство 200 для отображения может выполнять корректировку зенита для VR–изображения с помощью блока 204 обработки изображения. Корректировка зенита является корректировкой наклона, которая корректирует угол наклона относительно поперечной оси и угол наклона относительно продольной оси для VR–изображения, так что направление к зениту в VR–изображении поворачивается в предварительно определенном направлении (направлении зенита в VR–пространстве). Устройство 200 для отображения может отображать изображение после выполнения корректировки зенита или может отображать изображение без выполнения корректировки зенита. Как упомянуто выше, цифровая камера 100 может также выполнять корректировку зенита. Корректировка зенита может выполняться посредством цифровой камеры 100 или устройства 200 для отображения.

[0061] Фиг. 3 – это блок–схема последовательности операций, изображающая пример обработки воспроизведения изображения устройства 200 для отображения. Устройство для воспроизведения изображения реализуется посредством CPU 201, разворачивающего программу, сохраненную в энергонезависимой памяти 203 (например, специальную прикладную программу для реализации VR–отображения VR–изображения, сохраненного на носителе 208 записи) в памяти 202 и исполняющего программу. VR–изображение, сохраненное на носителе 208 записи, является VR–изображением, захваченным посредством цифровой камеры 100, стандартной камеры сферического изображения полного обзора или т.п. Информация о зените, которая указывает позицию захвата (проецирования) направления зенита, присоединяется к VR–изображению в качестве метаданных.

[0062] На этапе S301 CPU 201 определяет диапазон отображения, который является частью VR–изображения в соответствии с информацией о зените, присоединенной к (встроенной в) VR–изображению, и результат обнаружения блока 213 обнаружения ориентации (ориентации (направления) устройства 200 для отображения). Когда CPU 201 отображает определенный диапазон отображения в блоке 205 отображения. Таким образом, VR–отображение, чтобы отображать диапазон (часть VR–изображения), соответствующий направлению, в котором пользователь повернул устройство 200 отображения на блок 205 отображения, реализуется. Фиг. 4A–4E являются примерами VR–отображения VR–изображения, которое было захвачено посредством камеры сферического изображения полного обзора, расположенной на дороге с помощью трипода. Например, фиг. 4A является отображением, которое выполняется, когда поверхность отображения блока 205 отображения направляется в горизонтальном направлении (направлении, параллельном с землей).

[0063] Затем на этапе S302 CPU 201 определяет, повернута ли поверхность отображения блока 205 отображения в направлении зенита. Другими словами, CPU 201 обнаруживает направление в VR–изображении на основе направления, в котором пользователь повернул устройство 200 для отображения, и определяет, является ли обнаруженное направление направлением надира (направлением земли), т.е. является ли текущий диапазон отображения VR–изображения диапазоном, проецирующимся в направлении надира (направлении земли). Если определяется, что поверхность отображения повернута в направлении зенита (диапазон отображения в диапазоне, проецируемом в направлении надира), обработка переходит к этапу S303. Если определятся, что поверхность отображения не повернута в направлении зенита (диапазон отображения не является диапазоном, проецируемым в направлении надира), с другой стороны, обработка переходит к этапу S306. Является предпочтительным определять, повернута ли поверхность отображения в направлении зенита, предоставляя возможность для некоторой величины погрешности, но это является необязательным.

[0064] На этапе S306 CPU 201 удаляет графические изображения, которые отображаются на позже упомянутых этапах S304 и S305 (графические изображения не отображаются). Затем обработка переходит к этапу S307.

[0065] На этапе S303 CPU 201 определяет, задан ли режим заполнения фона в устройстве 200 для отображения. Если определяется, что режим заполнения фона задан, обработка переходит к этапу S304, а если не задан, обработка переходит к этапу S305.

[0066] На этапе S304, для того, чтобы улучшать видимость графического изображения (информационного изображения), отображаемого на этапе S305, CPU 201 отображает графическое изображение (фоновое изображение), которое должно быть фоном для информационного изображения, так, чтобы быть наложенным на VR–изображение (текущий диапазон отображения) в блоке 205 отображения. Фоновое изображение накладывается на часть текущего диапазона отображения, в частности, область, где отображается информационное изображение. Затем обработка переходит к этапу S305. Цвет, форма, размер, прозрачность и т.д. фонового изображения особенно не ограничиваются. Фоновое изображение может быть монохромным изображением или многоцветным изображением (или изображением с узорами). Фоновое изображение может быть или может не быть прозрачным, чтобы пропускать через себя VR–изображение. И фоновое изображение может иметь специальную форму, такую как прямоугольник и круг (включающий в себя эллипс).

[0067] На этапе S305 CPU 201 отображает информационное изображение в блоке 205 отображения как телевизионное отображение (OSD), так, чтобы накладывать его на VR–изображение (текущий диапазон отображения). Когда обработка на этапе S304 выполняется, информационное изображение накладывается на фоновое изображение. Затем обработка переходит к этапу S307. Информационное изображение указывает информацию, которая может быть полезной пользователю, такую как информация о VR–изображении, отображаемом в настоящий момент. Если конкретизировать, информационное изображение указывает, по меньшей мере, что–либо одно из: имени файла изображения, размера файла (размера данных), размера изображения, даты и времени захвата изображения и информации сменного формата файла изображения (EXIF) VR–изображения. EXIF–информация указывает условия настройки, когда изображение было захвачено. Информационное изображение может быть информацией, которая является независимо от целевого VR–изображения для отображения, такой как текущее время и остаточный заряд аккумулятора устройства 200 для отображения. Информационное изображение может также указывать информацию, ничего не делающую с объектом VR–изображения. Информационное изображение может быть строкой символов (текстовым изображением) или значками и графическими символами, соответствующими информации.

[0068] Фиг. 4B указывает состояние, когда режим заполнения фона не задан, и информационное изображение отображается. Фиг. 4C указывает состояние, когда режим заполнения фона задан, и фоновое изображение, которое не является прозрачным, и информационное изображение отображаются. Фиг. 4D указывает состояние, когда режим заполнения фона задан, и фоновое изображение, которое является прозрачным, и информационное изображение отображаются.

[0069] На этапе S307 CPU 201 определяет, было ли выполнено действие окончания воспроизведения (действие, чтобы заканчивать обработку воспроизведения изображения). Если определяется, что действие окончания воспроизведения было выполнено, CPU 201 заканчивает обработку воспроизведения изображения. Если действие окончания воспроизведения не было выполнено, обработка возвращается к этапу S301. На этапе S301 диапазон отображения изменяется, если ориентация устройства 200 отображения изменяется.

[0070] В VR–диапазоне является более вероятным, что значение изображения для диапазона, проецирующегося в направлении надира (направлении земли) является низким. Другими словами, когда VR–изображение просматривается, диапазон изображения в направлении надира включает в себя изображения трипода и руки пользователя, держащего устройство формирования изображения. Следовательно, является маловероятным, что зрители с готовностью уделяют внимание изображению в диапазоне, или что пользователь склонен показывать изображение в диапазоне. Согласно вышеупомянутой обработке воспроизведения изображения, если диапазон отображения является диапазоном, проецирующимся в направлении надира, графическое изображение отображается так, чтобы быть наложенным на диапазон отображения, и если диапазон отображения не является диапазоном, проецирующимся в направлении надира, графическое изображение не отображается. Таким образом, пользователь может просматривать VR–изображение (как фрагмент графического изображения, так и другие фрагменты) без ощущения (едва заметного ощущения), что графическое изображение мешает просмотру объекта (аспект удобства пользователя улучшается). Дополнительно, посредством отображения графического изображения, диапазон VR–изображения, значение изображения которого является низким, может быть эффективно использован. Кроме того, пользователь может проверять графическое изображение посредством предварительно определенного действия, такого как поворот поверхности отображения в направлении зенита, следовательно, графическое изображение может быть легко проверено в желаемый момент времени (аспект удобства пользователя улучшается).

[0071] Является предпочтительным, что направление графического изображения, относительно пользователя, является фиксированным. Например, является предпочтительным, что направление графического изображения, относительно пользователя, является неизменным, даже если устройство 200 для отображения поворачивается вокруг направления зенита в качестве оси вращения, в то же время поддерживая состояние поворота поверхности отображения в направлении зенита. Также является предпочтительным, что графическое изображение отображается в нормальной позиции относительно пользователя. Этот способ будет описан со ссылкой на фиг. 5A–5C.

[0072] Фиг. 5A указывает состояние, когда поверхность отображения (устройство 200 для отображения) поворачивается вокруг направления зенита в качестве оси вращения, в то же время поддерживая состояние поворота поверхности отображения в направлении зенита. В это время, CPU 201 поворачивает диапазон отображения в соответствии с поворотом поверхности отображения и поворачивает графическое изображение в противоположном направлении для направления поворота диапазона отображения (направления поворота поверхности отображения). Другими словами, в случае, когда диапазон отображения является диапазоном, проецирующимся в направлении надира, CPU 201 поворачивает графическое изображение в противоположном направлении для направления поворота диапазона отображения в соответствии с поворотом диапазона отображения вокруг направления надира (направления зенита) в качестве оси вращения. Таким образом, направление графического изображения, относительно пользователя, может поддерживаться постоянным, когда устройство 200 для отображения поворачивается вокруг направления зенита в качестве оси вращения, в то же время поддерживая поверхность отображения, повернутой в направлении зенита.

[0073] Дополнительно, как иллюстрировано на фиг. 5B, поверхность отображения наклоняется в некотором направлении относительно направления зенита, прежде чем поверхность отображения поворачивается в направлении зенита. Затем, среди множества направлений, которые являются параллельными с поверхностью отображения, направление, угол которого, сформированный с направлением зенита (линией нормали относительно земли) является минимальным, уникально определяется. На фиг. 5B угол Θ является минимальным углом между направлением зенита и поверхностью отображения, и прерывистая линия 501 указывает направление, в котором угол, сформированный с направлением зенита, является минимальным углом Θ. Прерывистая линия 502 на фиг. 5C указывает направление, которое получается, когда направление зенита проецируется на поверхность отображения, и совпадает с прерывистой линией 501, которая формирует минимальный угол Θ. CPU 201 начинает отображение графического изображения, считая направление прерывистых линий 501 и 502 направлением вверх для графического изображения. Согласно естественному перемещению человеческой руки, отображение графического изображения может быть начато посредством этого способа, так что графическое изображение отображается в нормальной позиции относительно пользователя.

[0074] Посредством способа, описанного на фиг. 5A, и способа, описанного на фиг. 5B и фиг. 5C, графическое изображение может непрерывно отображаться в состоянии нормальной позиции относительно пользователя, как иллюстрировано на фиг. 4E.

[0075] Фиг. 6 – это блок–схема последовательности операций, изображающая пример обработки захвата изображения посредством цифровой камеры 100. Обработка захвата изображения реализуется посредством блока 50 управления системой, который разворачивает программу, сохраненную в энергонезависимой памяти 56, в системной памяти 52 и исполняет программу.

[0076] на этапе S601 блок 50 управления системой определяет, была ли кнопка 61 спуска затвора полностью нажата. Другими словами, блок 50 управления системой определяет, был ли сформирован второй сигнал SW2 переключения затвора посредством включения второго переключателя 64 затвора. Обработка на этапе S601 повторяется до тех пор, пока не будет определено, что кнопка 61 спуска затвора была полностью нажата, и если кнопка 61 спуска затвора была полностью нажата, обработка переходит к этапу S602.

[0077] На этапе S602 блок 50 управления системой записывает (создает) результаты формирования изображения посредством блоков 22a и 22b формирования изображения в памяти 32. Изображение, захваченное посредством блока 22a формирования изображения, и изображение, захваченное посредством блока 22b формирования изображения, могут быть записаны отдельно, или единственное VR–изображение может быть сформировано посредством объединения двух изображений, захваченных посредством блоков 22a и 22b формирования изображения, и это VR–изображения может быть записано. Существуют различные способы записи, но любой способ может быть использован. На этапе S602 блок 50 управления системой записывает результат обнаружения посредством блока 55 обнаружения ориентации (текущую ориентацию цифровой камеры 100) в системной памяти 52.

[0078] Затем на этапе S603 блок 50 управления системой определяет, задан ли режим запечатления информации в цифровой камере 100. Если режим запечатления информации задан, обработка переходит к этапу S604, а если режим запечатления информации не задан, обработка переходит к этапу S608.

[0079] Затем, на этапе S604, блок 50 управления системой указывает позицию надира (позицию, захватывающую направление надира (направление земли)) в VR–изображении, сохраненном в памяти 32, на основе результата обнаружения посредством блока 55 обнаружения ориентации, сохраненного в системной памяти 52. Здесь, результат обнаружения, сохраненный в системной памяти 52, является результатом обнаружения, записанным на этапе S602, и указывает ориентацию цифровой камеры 100, когда VR–изображение было захвачено (когда обработка захвата изображения была выполнена). VR–изображение, сохраненное в памяти 32, является VR–изображением, записанным (выработанным) на этапе S602.

[0080] Затем на этапе S605 блок 50 управления системой определяет, задан ли режим заполнения фона в цифровой камере 100. Если режим заполнения фона задан, обработка переходит к этапу S606, а если режим заполнения фона не задан, обработка переходит к этапу S607.

[0081] На этапе S606, для того, чтобы улучшать видимость информационного изображения, которое должно быть объединено на этапе S607, блок 50 управления системой объединяет фоновое изображение, которое должно быть фоном для информационного изображения, с VR–изображением, сохраненным в памяти 32 (накладывает фоновое изображение на VR–изображение). Фоновое изображение накладывается на позицию, указанную на этапе S604. Затем обработка переходит к этапу S607. Точно также как обработка воспроизведения изображения на фиг. 3, цвет, форма, прозрачность и т.п. фонового изображения, которое должно быть объединено на этапе S606, особо не ограничиваются.

[0082] На этапе S607 блок 50 управления системой объединяет информационное изображение с VR–изображением, сохраненным в памяти 32 (накладывает информационное изображение на VR–изображение). Информационное изображение (текстовое изображение, значки, графика) накладывается в позиции, указанной на этапе S604. Если обработка на этапе S606 была выполнена, информационное изображение накладывается на фоновое изображение. Затем обработка переходит к этапу S608. Точно так же, как и обработка воспроизведения изображения на фиг. 3, информационное изображение, объединенное на этапе S607, указывает информацию, которая может быть полезной пользователю (например, имя файла изображения, размер изображения, дата и время захвата изображения, и EXIF–информация VR–изображения, сохраненного в памяти 32). В случае традиционной галогенидосеребряной камеры, такая основная информация как дата и время захвата изображения объединяется, следовательно, является предпочтительным объединять такую основную информацию как дата и время захвата изображения с VR–изображением, которое устройство формирования изображения захватывает и выводит. Другими словами, является предпочтительным, что информационное изображение, объединенное на этапе S607, указывает такую основную информацию как дата и время захвата изображения для VR–изображения, сохраненного в памяти 32.

[0083] VR–изображение, созданное посредством равноудаленной цилиндрической проекции, создается (преобразуется) из формата равноудаленной цилиндрической проекции в формат сферического изображения полного обзора для VR–отображения. Следовательно, для того, чтобы объединять графическое изображение (фоновое изображение и информационное изображение) с VR–изображением, образованным посредством равноудаленной цилиндрической проекции, графическое изображение объединяется посредством выполнения обратного преобразования для преобразования из формата равноудаленной цилиндрической проекции изображения в формат сферического изображения полного обзора. Таким образом, графическое изображение может быть отображено в желаемой форме в VR–отображении. Дополнительно, для того, чтобы улучшать видимость информационного изображения, когда режим заполнения фона не задан, изображение, которое обрамлено цветом, который отличается от основного цвета (цвета внутри рамки), может быть использовано для информационного изображения.

[0084] На этапе S608 блок 50 управления системой формирует файл изображения, включающий в себя VR–изображение (данные изображения), сохраненные в памяти 32, и записывает файл изображения на носитель 90 записи. Затем блок 50 управления системой заканчивает обработку захвата изображения. Если режим запечатления информации задан, VR–изображение, объединенное с информационным изображением (объединенное изображение) записывается на носитель 90 записи. Если не задан, VR–изображение не объединяется с информационным изображением, и фоновое изображение записывается на носитель 90 записи.

[0085] Как описано выше на фиг. 3, более вероятным является то, что значение изображения для изображения в диапазоне, захваченном в направлении надира (направлении земли), является низким. Согласно вышеупомянутой обработке захвата изображения, объединенное изображение формируется посредством наложения графического изображения на VR–изображение в позиции захвата изображения в направлении надира. Таким образом, когда объединенное изображение, сформированное в обработке захвата изображения VR–отображается, пользователь может просматривать VR–изображение (как фрагмент графического изображения, так и другие фрагменты) без ощущения (или едва заметного ощущения) помехи графическим изображением (аспект удобства пользователя улучшается).

[0086] В обработке воспроизведения изображения на фиг. 3 и обработке захвата изображения на фиг. 6 направление наложения графического изображения не ограничивается направлением надира (направлением земли). Например, конкретное направление может быть направлением зенита (направлением неба). Одно из направления надира и направления зенита может быть использовано в качестве конкретного направления, или и направление надира, и направление зенита могут быть использованы в качестве конкретного направления. Когда VR–изображение не является изображением 360° (сферическим изображением полного обзора), а изображением 180° (полусферическим изображением). не существует изображения в заднем направлении, следовательно, заднее направление может быть использовано в качестве конкретного направления.

[0087] В обработке воспроизведения изображения на фиг. 3 CPU 201 может определять конкретное направление, так что конкретное направление переключается между направлением зенита и направлением надира, в зависимости от направления устройства формирования изображения (например, цифровой камеры 100), когда VR–изображение захватывается. Таким же образом, в обработке захвата изображения на фиг. 6, блок 50 управления системой может определять конкретное направление, так что конкретное направление переключается между направлением зенита и направлением надира, в зависимости от направления цифровой камеры 100, когда VR–изображение захватывается.

[0088] Таким образом, может быть предотвращено то, что графическое изображение отображается в позиции, захватывающей изображение в направлении (направлении зенита или направлении надира), на котором пользователь фокусировался, когда изображение было захвачено, и аспект удобства для пользователя улучшается. Например, если устройство формирования изображения было направлено вверх, когда изображение было захвачено, является вероятным, что пользователь фокусировался на направлении вверх (направлении зенита), следовательно, направление надира считается конкретным направлением (графическое изображение должно быть отображено в позиции, захваченной в направлении надира). С другой стороны, если устройство формирования изображения было направлено вниз, когда изображение было захвачено, является вероятным, что пользователь фокусировался на направлении вниз (направлении надира), следовательно, направление зенита считается конкретным направлением (графическое изображение должно быть отображено в позиции, захваченной в направлении зенита).

[0089] Однако также является возможным, что пользователь фокусировался на направлении вниз (направлении надира), когда устройство формирования изображения было направлено вверх. Дополнительно, также является возможным, что пользователь фокусировался на направлении вверх (направлении зенита), когда устройство формирования изображения было направлено вниз. В этом случае, направление зенита может считаться конкретным направлением, если устройство формирования изображения было направлено вверх, когда изображение было захвачено, и направление надира может считаться конкретным направлением, если устройство формирования изображения было направлено вниз, когда изображение было захвачено.

[0090] В цифровой камере 100 блок 55 обнаружения ориентации обнаруживает ориентацию цифровой камеры 100. Следовательно, блок 50 управления системой может определять конкретное направление на основе результата обнаружения посредством блока 55 обнаружения ориентации (ориентации цифровой камеры 100, когда VR–изображение было захвачено).

[0091] Устройство 200 для отображения, с другой стороны, не может непосредственно обнаруживать ориентацию устройства формирования изображения. Однако, устройство 200 для отображения может быть приспособлено для определения ориентации устройства формирования изображения, когда VR–изображение было захвачено, на основе VR–изображения. В этом случае, CPU 201 может определять конкретное направление на основе VR–изображения. Если информация об ориентации, указывающая ориентацию устройства формирования изображения, когда VR–изображение было захвачено, была включена в метаданные VR–изображения, CPU 201 может определять конкретное направление на основе этой информации об ориентации. Однако, как правило, информация об ориентации не присоединяется к VR–изображению. Обычно VR–изображение создается посредством равноудаленной цилиндрической поверхности и записывается. Когда VR–изображение, созданное посредством равноудаленной цилиндрической проекции, записывается, информация о зените, которая указывает позицию зенита (позицию, захватывающую направление зенита) в VR–изображении, присоединяется в качестве метаданных. Кроме того, ориентация устройства для захвата изображения может быть определена на основе информации о зените. Следовательно, является предпочтительным, что CPU 201 определяет конкретное направление на основе информации о зените.

[0092] Существуют два способа, чтобы создавать VR–изображение посредством равноудаленной цилиндрической проекции. Первый способ создания является созданием VR–изображения, полученного посредством блока формирования изображения, посредством равноудаленной цилиндрической проекции без корректировки угла VR–изображения, т.е. без выполнения корректировки зенита (корректировки наклона). Согласно первому способу создания, нагрузка обработки и время обработки для обработки соединения изображения (обработки, чтобы получать единое VR–изображение посредством объединения множества изображений, полученных посредством множества блоков формирования изображения) могут быть уменьшены. Однако, трудно распознавать направление зенита, направление надира, горизонтальное направление (направление, параллельное с землей) и т.д. в VR–изображении, поскольку ориентация устройства формирования изображения отражается в VR–изображения, созданном посредством равноудаленной цилиндрической проекции. Второй способ создания является корректировкой угла VR–изображения, полученного посредством блока формирования изображения, на основе ориентации устройства формирования изображения (т.е. выполняется корректировка зенита), и созданием VR–изображения после корректировки зенита посредством равноудаленной цилиндрической проекции. В случае второго способа создания, позиция на нижнем крае VR–изображения, которое создается посредством равноудаленной цилиндрической проекции, становится позицией надира (позицией, захватывающей направление надира), и позиция на его верхнем крае становится позицией зенита (позицией, захватывающей направление зенита). Согласно второму способу, направление зенита, направление надира, горизонтальное направление (направление, параллельное с землей) и т.д. могут быть легко распознаны в VR–изображении, поскольку ориентация устройства формирования изображения не отражается в VR–изображении, созданном посредством равноудаленной цилиндрической проекции. Однако нагрузка обработки и время обработки для обработки соединения изображения увеличиваются, поскольку корректировка зенита выполняется. Как следствие, способ создания различается в зависимости от устройства формирования изображения. Если используется информация о зените, соответствующее VR–отображение (VR–отображение, в котором VR–пространство и реальное пространство выглядят идентичными, такое как отображение направления надира, посредством поворота поверхности отображения в направлении зенита) может быть выполнено, независимо от способа создания.

[0093] Согласно первому способу создания, в VR–изображении, созданном посредством равноудаленной цилиндрической проекции, позиция зенита изменяется в соответствии с ориентацией устройства формирования изображения, когда изображение было захвачено, и позиция, захватывающая каждое направление посредством устройства формирования изображения, становится предварительно определенной позицией, независимо от ориентации устройства формирования изображения, когда изображение было захвачено. Другими словами, сторона рукоятки устройства формирования изображения (сторона трипода) устройства формирования изображения захватывается в предварительно определенной позиции в VR–изображении, созданном посредством равноудаленной цилиндрической проекции. Например, если рукоятка устройства формирования изображения располагается на нижней стороне блока формирования изображения, сторона рукоятки захватывается в нижнем крайнем фрагменте VR–изображения, созданного посредством равноудаленной цилиндрической проекции. Согласно второму способу создания, с другой стороны, выполняется корректировка зенита, следовательно, в VR–изображении, созданном посредством равноудаленной цилиндрической проекции, позиция зенита становится предварительно определенной позицией, независимо от ориентации устройства формирования изображения, когда изображение было захвачено. Позиция, захватывающая каждое направление посредством устройства формирования изображения, изменяется в соответствии с ориентацией устройства формирования изображения, когда изображение было захвачено. Другими словами, позиции рукоятки устройства формирования изображения изменяются в соответствии с ориентацией устройства для захвата изображения, когда изображение было захвачено.

[0094] В случае первого способа создания CPU 201 может определять, было ли устройство для захвата изображения повернуто вверх от горизонтальной линии или вниз от горизонтальной линии, когда изображение было захвачено, на основе информации о зените (позиции зенита в VR–изображении, созданном посредством равноудаленной цилиндрической проекции). Конкретно, если позиция зенита располагается в верхней половинной области VR–изображения, созданного посредством равноудаленной цилиндрической проекции, определяется, что устройство формирования изображения было повернуто вверх от горизонтальной линии, когда изображение было захвачено. С другой стороны, если позиция зенита располагается в нижней половинной области VR–изображения, созданного посредством равноудаленной цилиндрической проекции, определяется, что устройство формирования изображения было повернуто вниз от горизонтальной линии. Следовательно, CPU 201 может определять более подходящее конкретное направление посредством обработки, чтобы определять конкретное направление на основе информации о зените.

[0095] В случае второго способа создания, с другой стороны, информация о зените (позиция зенита в VR–изображении, созданном посредством равноудаленной цилиндрической проекции) является фиксированной, следовательно, ориентация устройства формирования изображения, когда изображение было захвачено, не может быть определена на основе информации о зените. Если информация о позиции рукоятки, которая указывает позицию изображения стороны рукоятки в VR–изображении, включается в метаданные VR–изображения, CPU 201 может определять ориентацию устройства формирования изображения, когда изображение было захвачено, на основе информации о позиции рукоятки. Однако информация о позиции рукоятки обычно не присоединяется к VR–изображению.

[0096] CPU 201 может определять конкретное направление на основе информации о зените, независимо от того, является ли способ создания первым способом создания или вторым способом создания. Как упомянуто выше, в случае первого способа создания, конкретное направление может быть определено более подходящим образом посредством обработки, чтобы определять конкретное направление на основе информации о зените. В случае второго способа создания, с другой стороны, позиция зенита всегда находится в верхней половинной области VR–изображения, созданного посредством равноудаленной цилиндрической проекции, независимо от ориентации устройства формирования изображения, когда изображение было захвачено. Следовательно, одинаковое направление всегда определяется в качестве конкретного направления посредством обработки, чтобы определять конкретное направление на основе информации о зените, независимо от ориентации устройства формирования изображения, когда изображение было захвачено. Например, направление надира всегда определяется как конкретное направление. Другими словами, состояние, аналогичное случаю фиксации конкретного направления, без выполнения обработки, чтобы определять конкретное направление на основе информации о зените, реализуется. Это означает, что конкретное направление не определяется ненадлежащим образом, даже если обработка, чтобы определять конкретное направление на основе информации о зените, выполняется для второго способа создания.

[0097] Различные управления, которые выполняются посредством блока 50 управления системой в вышеприведенном описании, могут быть выполнены посредством одного компонента аппаратных средств, или могут быть совместно использованы посредством множества компонентов аппаратных средств (например, множества процессоров и схем), в результате чего, все устройство управляется. Таким же образом, различные управления, которые выполняются посредством CPU 201 в вышеприведенном описании, могут быть выполнены посредством одного компонента аппаратных средств, или могут быть совместно использованы посредством множества компонентов аппаратных средств (например, множества процессоров и схем), в результате чего, все устройство управляется.

[0098] Хотя настоящее изобретение было описано на основе предпочтительных вариантов его осуществления, настоящее изобретение не ограничивается этими специальными вариантами осуществления, но различные режимы в рамках, не отклоняющихся от сути изобретения, также включены в настоящее изобретение. Дополнительно, каждый из вышеупомянутых вариантов осуществления является просто примером настоящего изобретения и может быть объединен при необходимости.

[0099] В вариантах осуществления, описанных выше, настоящее изобретение применяется к цифровой камере или устройству для отображения, но настоящее изобретение не ограничивается этими примерами, но является применимым к любому устройству (электронному устройству), которое может захватывать VR–изображение или отображать VR–изображение в блоке отображения. Например, настоящее изобретение является применимым к персональному компьютеру, PDA, переносному телефонному терминалу, переносному устройству просмотра изображений, принтеру, цифровой фоторамке, музыкальному проигрывателю, игровому автомату, устройству чтения электронных книг, видеопроигрывателю и т.п. Настоящее изобретение также является применимым к ТВ, проекционному устройству, планшетному терминалу, смартфону, AI–динамику, бытовому электронному устройству, бортовому устройству, медицинскому устройству и т.п.

[0100] <Другие варианты осуществления>

Вариант(ы) осуществления настоящего изобретения могут также быть реализованы посредством компьютера системы или устройства, которое считывает и выполняет компьютерные исполняемые инструкции (например, одну или более программ), записанных на носителе хранения (который может также называться более полно как "нетранзиторный компьютерно–читаемый носитель хранения"), чтобы выполнять функции одного или более из вышеописанных варианта(ов) осуществления, и/или которое включает в себя одну или более схем (например, специализированную интегральную микросхему (ASIC)) для выполнения функций одного или более из вышеописанного варианта(ов) осуществления, и посредством способа, выполняемого компьютером системы или устройством, например, посредством считывания и выполнения компьютерных исполняемых инструкций с носителя хранения, чтобы выполнять функции одного или более из вышеописанных варианта(ов) осуществления и/или управлять одной или более схем, чтобы выполнять функции одного или более из вышеописанных варианта(ов) осуществления. Компьютер может содержать один или более процессоров (например, центральный процессор (CPU), микропроцессор (MPU)) и может включать в себя сеть отдельных компьютеров или отдельных процессоров, чтобы считывать и исполнять компьютерные исполняемые инструкции. Компьютерные исполняемые инструкции могут быть предоставлены компьютеру, например, из сети или с носителя хранения информации. Носитель хранения информации может включать в себя, например, одно или более из жесткого диска, оперативного запоминающего устройства (RAM), постоянного запоминающего устройства (ROM), хранилища распределенных вычислительных систем, оптического диска (такого как компакт–диск (CD), цифровой многофункциональный диск (DVD) или диск Blu–ray (BD)™), устройства флэш–памяти, карты памяти и т.п.

[0101] В то время как настоящее изобретение было описано со ссылкой на примерные варианты осуществления, должно быть понятно, что изобретение не ограничено раскрытыми примерными вариантами осуществления. Рамки следующей формулы должны соответствовать самой широкой интерпретации, так, чтобы охватывать все такие модификации и эквивалентные структуры и функции.

[0101] В то время как настоящее изобретение было описано со ссылкой на примерные варианты осуществления, должно быть понятно, что изобретение не ограничено раскрытыми примерными вариантами осуществления. Рамки следующей формулы должны соответствовать самой широкой интерпретации, так, чтобы охватывать все такие модификации и эквивалентные структуры и функции.

1. Устройство управления отображением, содержащее:

блок управления отображением, сконфигурированный, чтобы выполнять управление так, чтобы отображать часть изображения, соответствующую направлению просмотра, на экране; и

блок изменения, сконфигурированный, чтобы изменять часть изображения в соответствии с изменением направления просмотра,

при этом в случае, когда часть изображения является диапазоном, захваченным в конкретном направлении в изображении, блок управления отображением выполняет управление так, чтобы отображать графическое изображение, наложенное на часть изображения, и

при этом конкретное направление переключается между направлением зенита и направлением надира в зависимости от направления устройства формирования изображения, когда изображение было захвачено.

2. Устройство управления отображением, содержащее

блок управления отображением, сконфигурированный, чтобы выполнять управление так, чтобы отображать часть изображения, соответствующую направлению просмотра, на экране; и

блок изменения, сконфигурированный, чтобы изменять часть изображения в соответствии с изменением направления просмотра,

при этом в случае, когда часть изображения является диапазоном, захваченным в конкретном направлении в изображении, блок управления отображением выполняет управление так, чтобы отображать графическое изображение, наложенное на часть изображения, и

при этом в случае, когда часть изображения является диапазоном, захватываемым в конкретном направлении в изображении, блок управления отображением выполняет управление в соответствии с поворотом части изображения вокруг конкретного направления в качестве оси вращения, так что графическое изображение поворачивается в противоположном направлении для направления поворота части изображения.

3. Устройство управления отображением по п. 1 или 2, в котором графическое изображение указывает по меньшей мере одно из имени файла изображения, даты и времени захвата изображения для изображения, размера изображения и информации сменного формата файла изображения (EXIF) для изображения.

4. Устройство управления отображением по п. 1 или 2,

в котором графическое изображение указывает информацию независимо от изображения.

5. Устройство управления отображением по п. 1 или 2,

в котором графическое изображение указывает информацию, ничего не делающую с объектом изображения.

6. Устройство управления отображением по п. 1 или 2, дополнительно содержащее

блок обнаружения ориентации, сконфигурированный, чтобы обнаруживать ориентацию панели отображения, имеющей экран,

при этом направление просмотра изменяется на основе обнаруженной ориентации панели отображения.

7. Устройство управления отображением по п. 1 или 2, дополнительно содержащее

блок обнаружения действия, сконфигурированный, чтобы обнаруживать действие пользователя для предварительно определенного операционного элемента,

при этом направление просмотра изменяется на основе обнаруженного действия пользователя.

8. Устройство управления отображением по п. 1 или 2,

в котором изображение формируется посредством выполнения предварительно определенной обработки изображения по множеству изображений, захваченных посредством множества датчиков изображений, и записывается на носителе записи,

при этом блок управления отображением считывает изображение с носителя записи и отображает часть изображения.

9. Устройство управления отображением по п. 1 или 2, в котором изображение является изображением на 360° или изображением на 180°.

10. Устройство управления отображением по п. 1, при этом в случае, когда часть изображения является диапазоном, захватываемым в конкретном направлении в изображении, блок управления отображением выполняет управление в соответствии с поворотом части изображения вокруг конкретного направления в качестве оси вращения, так что графическое изображение поворачивается в противоположном направлении для направления поворота части изображения.

11. Устройство формирования изображения, содержащее:

блок получения, сконфигурированный, чтобы получать изображение посредством выполнения обработки захвата изображения;

блок обнаружения, сконфигурированный, чтобы обнаруживать ориентацию устройства формирования изображения, когда выполняется обработка захвата изображения;

блок спецификации, сконфигурированный, чтобы указывать позицию, в которой конкретное направление в изображении захватывается, на основе ориентации, обнаруженной посредством блока обнаружения; и

блок объединения, сконфигурированный, чтобы формировать объединенное изображение посредством наложения графического изображения на полученное изображение в позиции, указанной посредством блока спецификации,

при этом конкретное направление переключается между направлением зенита и направлением надира в зависимости от направления устройства формирования изображения, когда выполняется обработка захвата изображения.

12. Устройство формирования изображения по п. 11, в котором графическое изображение указывает дату и время захвата изображения для изображения.

13. Устройство формирования изображения по п. 11,

в котором графическое изображение указывает информацию независимо от изображения.

14. Устройство формирования изображения по п. 11,

в котором графическое изображение указывает информацию, ничего не делающую с объектом изображения.

15. Устройство формирования изображения по п. 11, в котором изображение является изображением на 360° или изображением на 180°.

16. Способ управления для устройства управления отображением, способ управления содержит:

этап управления отображением, на котором выполняют управление так, чтобы отображать часть изображения, соответствующую направлению просмотра, на экране; и

этап изменения, на котором изменяют часть изображения в соответствии с изменением направления просмотра,

при этом в случае, когда часть изображения является диапазоном, захваченным в конкретном направлении в изображении, на этапе управления отображением, управление выполняется так, чтобы отображать графическое изображение, наложенное на часть изображения, и

при этом конкретное направление переключается между направлением зенита и направлением надира в зависимости от направления устройства формирования изображения, когда изображение было захвачено.

17. Способ управления для устройства формирования изображения, способ управления содержит:

этап получения, на котором получают изображение посредством выполнения обработки захвата изображения;

этап обнаружения, на котором обнаруживают ориентацию устройства формирования изображения, когда выполняется обработка захвата изображения;

этап спецификации, на котором указывают позицию, в которой конкретное направление в изображении захватывается, на основе ориентации, обнаруженной на этапе обнаружения; и

этап объединения, на котором формируют объединенное изображение посредством наложения графического изображения на полученное изображение в позиции, указанной на этапе спецификации,

при этом конкретное направление переключается между направлением зенита и направлением надира в зависимости от направления устройства формирования изображения, когда выполняется обработка захвата изображения.

18. Компьютерно-читаемый носитель, который хранит программу, при этом программа инструктирует компьютеру исполнять способ управления для устройства управления отображением, способ управления содержит:

этап управления отображением, на котором выполняют управление так, чтобы отображать часть изображения, соответствующую направлению просмотра, на экране; и

этап изменения, на котором изменяют часть изображения в соответствии с изменением направления просмотра,

при этом в случае, когда часть изображения является диапазоном, захваченным в конкретном направлении в изображении, на этапе управления отображением, управление выполняется так, чтобы отображать графическое изображение, наложенное на часть изображения, и

при этом конкретное направление переключается между направлением зенита и направлением надира в зависимости от направления устройства формирования изображения, когда изображение было захвачено.

19. Компьютерно-читаемый носитель, который хранит программу, при этом программа инструктирует компьютеру исполнять способ управления для устройства формирования изображения, способ управления содержит:

этап получения, на котором получают изображение посредством выполнения обработки захвата изображения;

этап обнаружения, на котором обнаруживают ориентацию устройства формирования изображения, когда выполняется обработка захвата изображения;

этап спецификации, на котором указывают позицию, в которой конкретное направление в изображении захватывается, на основе ориентации, обнаруженной на этапе обнаружения; и

этап объединения, на котором формируют объединенное изображение посредством наложения графического изображения на полученное изображение в позиции, указанной на этапе спецификации,

при этом конкретное направление переключается между направлением зенита и направлением надира в зависимости от направления устройства формирования изображения, когда выполняется обработка захвата изображения.

20. Способ управления для устройства управления отображением, причем способ управления содержит:

этап управления отображением, на котором выполняют управление так, чтобы отображать часть изображения, соответствующую направлению просмотра, на экране; и

этап изменения, на котором изменяют часть изображения в соответствии с изменением направления просмотра,

при этом в случае, когда часть изображения является диапазоном, захваченным в конкретном направлении в изображении, на этапе управления отображением, управление выполняется так, чтобы отображать графическое изображение, наложенное на часть изображения,

при этом в случае, когда часть изображения является диапазоном, захватываемым в конкретном направлении в изображении на этапе управления отображением, управление выполняется в соответствии с поворотом части изображения вокруг конкретного направления в качестве оси вращения, так что графическое изображение поворачивается в противоположном направлении для направления поворота части изображения.

21. Компьютерно-читаемый носитель, который хранит программу, при этом программа инструктирует компьютеру исполнять способ управления для устройства управления отображением, причем способ управления содержит:

этап управления отображением, на котором выполняют управление так, чтобы отображать часть изображения, соответствующую направлению просмотра, на экране; и

этап изменения, на котором изменяют часть изображения в соответствии с изменением направления просмотра,

при этом в случае, когда часть изображения является диапазоном, захваченным в конкретном направлении в изображении, на этапе управления отображением, управление выполняется так, чтобы отображать графическое изображение, наложенное на часть изображения,

при этом в случае, когда часть изображения является диапазоном, захватываемым в конкретном направлении в изображении, на этапе управления отображением, управление выполняется в соответствии с поворотом части изображения вокруг конкретного направления в качестве оси вращения, так что графическое изображение поворачивается в противоположном направлении для направления поворота части изображения.

22. Устройство управления отображением по любому из пп. 1, 2 или 11, в котором конкретное направление переключается в зависимости от направления устройства формирования изображения, когда изображение было захвачено, причем направление устройства формирования изображения является направлением, регулируемым в соответствии с поворотом изображения для коррекции наклона.