Способ обработки изображений и мобильный терминал

Изобретение относится к области захвата и обработки изображений, а в частности, к мобильному терминалу связи, выполненному с возможностью захвата и обработки изображений. Техническим результатом является захват изображений с большим полем зрения без потери детализации. Результат достигается тем, что обнаруживают первую операцию, используемую для выбора режима фотографирования; определяют текущий режим фотографирования в ответ на обнаруженную первую операцию; отображают интерфейс дисплея, используемого для выбора поля зрения, при этом интерфейс дисплея включает в себя опцию поля зрения, соответствующего по меньшей мере одной камере; и обнаруживают вторую операции, используемую для выбора опций по меньшей мере двух полей зрения; определяют по меньшей мере два поля зрения, соответствующих текущему режиму фотографирования, в ответ на обнаруженную вторую операцию, причем по меньшей мере два поля зрения соответствуют одной или более камерам; обнаруживают третью операцию, используемую для фотографирования; получают множества изображений, соответствующих по меньшей мере двум полям зрения, в ответ на обнаруженную третью операцию; и синтезируют множества изображений для формирования первого изображения и отображают первое изображение. 3 н. и 9 з.п. ф-лы, 12 ил.

 

[0001] Настоящая заявка испрашивает приоритет на основании патентной заявки Китая №. 202010138875.3, поданной в Национальное управление интеллектуальной собственности Китая 3 марта 2020 г. и озаглавленной «СПОСОБ ОБРАБОТКИ ИЗОБРАЖЕНИЙ И МОБИЛЬНЫЙ ТЕРМИНАЛ» (“IMAGE PROCESSING METHOD AND MOBILE TERMINAL”), которая полностью включена в настоящий документ посредством ссылки.

ОБЛАСТЬ ТЕХНИКИ

[0002] Эта заявка относится к области технологий связи и, в частности, к способу обработки изображений и мобильному терминалу.

УРОВЕНЬ ТЕХНИКИ

[0003] С непрерывным развитием технологий фотографирования и широким использованием мобильных терминалов функция фотографирования мобильных терминалов становится все более предпочтительной. Кроме того, с улучшенными возможностями масштабирования камеры мобильного телефона пользователь может фотографировать сцену с большего расстояния, и сфотографированная сцена может не искажаться. Однако, большее фокусное расстояние приводит к меньшему FOV (поле зрения (FOV, Field of view)) изображения. Несмотря на то, что большое фокусное расстояние может дать преимущество при фотографировании дальних сцен, когда для формирования изображения выполняется увеличение масштаба, поле зрения FOV для формирования изображения также будет пропорционально уменьшаться, поэтому окончательное изображение может быть только четким изображением с меньшим полем зрения.

[0004] С появлением широкоугольного объектива значительно улучшается эффект фотографирования в сценарии с большим FOV, то есть можно выполнять сверхширокоугольное фотографирование. Однако при таком формировании изображения потеря деталей является относительно серьезной. В настоящее время режим фотографирования мобильного терминала не может учитывать требования сценария с большим FOV и мелких деталей. Для пользователя потребность как в информации об удаленных деталях, так и в информации о сцене с большим FOV на изображении стала насущной проблемой, требующей решения. Та же проблема может возникнуть и при постобработке фотографии. При увеличении фотографии с большим FOV детали становятся все более и более размытыми. Однако при уменьшении масштаба фотографии с малым FOV из-за того, что поле зрения фотографии с малым FOV относительно мало, можно увидеть только сцену на текущей фотографии, а сцену за пределами фотографии увидеть нельзя.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0005] Это приложение предоставляет способ обработки изображений и мобильный терминал. Это приложение дополнительно предоставляет машиночитаемый носитель данных для обеспечения способа синтеза сфотографированных изображений, чтобы учесть требования большого поля зрения и мелких деталей изображения и повысить удовлетворенность пользователя сфотографированным изображением.

[0006] Согласно первому аспекту это приложение обеспечивает способ обработки изображения, включающий в себя:

обнаружение первой операции, используемой для выбора режима фотографирования;

определение текущего режима фотографирования в ответ на обнаруженную первую операцию;

отображение интерфейса дисплея, используемого для выбора поля зрения, при этом интерфейс дисплея включает в себя опцию поля зрения, соответствующего по меньшей мере одной камере;

обнаружение второй операции, используемой для выбора опций по меньшей мере двух полей зрения;

определение по меньшей мере двух полей зрения, соответствующих текущему режиму фотографирования, в ответ на обнаруженную вторую операцию, причем по меньшей мере два поля зрения соответствуют одной или более камерам;

обнаружение третьей операции, используемой для фотографирования;

получение множества изображений, соответствующих по меньшей мере двум полям зрения, в ответ на обнаруженную третью операцию, где каждое из по меньшей мере двух полей зрения соответствует по меньшей мере одному изображению; а также

синтез множества изображений для формирования первого изображения и отображение первого изображения.

[0007] В возможной реализации перед обнаружением первой операции, используемой для выбора режима фотографирования, способ дополнительно включает в себя: запуск первой камеры и отображение интерфейса предварительного просмотра фотографирования, захваченного первой камерой; при этом

отображаемый интерфейс дисплея, используемый для выбора поля зрения, включает в себя только поле зрения, соответствующее первой камере; или

отображаемый интерфейс дисплея, используемый для выбора поля зрения, включает в себя только поле зрения, соответствующее первой камере, и поле зрения, соответствующее другой камере на той же стороне мобильного терминала, что и первая камера; или

на отображаемом интерфейсе дисплея, используемом для выбора поля зрения, опция поля зрения, соответствующего первой камере, отображается ассоциативно связанным образом; или

на отображаемом интерфейсе дисплея, используемом для выбора поля зрения, поля зрения, соответствующие одной и той же камере, отображаются одинаковым образом; или

на отображаемом интерфейсе дисплея, используемом для выбора поля зрения, поля зрения, соответствующие камерам на той же стороне мобильного терминала, отображаются одинаковым образом; или

на отображаемом интерфейсе дисплея, используемом для выбора поля зрения, рекомендуемая комбинация полей зрения отображается заметным образом.

[0008] Первая камера может быть единственной камерой на стороне мобильного терминала или может быть одной из множества камер на стороне мобильного терминала. Камера может быть основной камерой мобильного терминала. Интерфейс предварительного просмотра фотографирования может быть картинкой кадра видоискателя, которая в данный момент фотографируется первой камерой. Интерфейс дисплея, используемый для выбора поля зрения, может представлять собой интерфейс отображения меню для пользователя, чтобы выбрать поле зрения. Кроме того, с помощью заметных рекомендаций, описанных выше, может быть улучшено удобство выбора поля зрения пользователем, а также может быть повышена эффективность фотографирования пользователем.

[0009] В возможной реализации, после запуска первой камеры и отображения интерфейса предварительного просмотра фотографирования, захваченного первой камерой, способ дополнительно включает в себя:

обнаружение четвертой операции, используемой для переключения камеры; и

запуск второй камеры в ответ на обнаруженную четвертую операцию и отображение интерфейса предварительного фотографирования, захваченного второй камерой; и

отображаемый интерфейс дисплея, используемый для выбора поля зрения, включает в себя только поле зрения, соответствующее второй камере; или

отображаемый интерфейс дисплея, используемый для выбора поля зрения, включает в себя только поле зрения, соответствующее второй камере, и поле зрения, соответствующее другой камере на той же стороне мобильного терминала, что и вторая камера; или

на отображаемом интерфейсе дисплея, используемом для выбора поля зрения, опция поля зрения, соответствующего второй камере, отображается заметным образом; или

на отображаемом интерфейсе дисплея, используемом для выбора поля зрения, поля зрения, соответствующие одной и той же второй камере, отображаются таким же образом; или

на отображаемом интерфейсе дисплея, используемом для выбора поля зрения, поля зрения, соответствующие камерам на той же стороне мобильного терминала, отображаются одинаковым образом; или же

в отображаемом интерфейсе дисплея, используемом для выбора поля зрения, заметным образом отображается рекомендуемая комбинация полей зрения.

[0010] Вторая камера может быть камерой, которая имеет ту же функцию, что и первая камера, может быть на другой стороне мобильного терминала по отношению к первой камере и может быть единственной камерой на другой стороне или может быть на другой стороне мобильного терминала относительно первой камеры и может быть одной из множества камер на другой стороне. Следует понимать, что после того, как камера изменится с первой камеры на вторую камеру, текущий интерфейс предварительного просмотра фотографирования также изменится вместе с камерой; то есть в сценарии с первой камерой получают интерфейс предварительного просмотра фотографирования, захваченный первой камерой, а в сценарии со второй камерой получают интерфейс предварительного просмотра фотографирования, захваченный второй камерой. Аналогично, после переключения камеры может измениться количество камер. Например, сначала есть только одна фронтальная камера, а после смены камеры количество камер увеличивается до трех. В этом случае интерфейс дисплея, используемый для выбора поля зрения, также меняется. Переключая камеру вышеописанным образом, можно повысить степень свободы фотографирования пользователем, можно расширить сценарий применения мобильного терминала и улучшить восприятие пользователя.

[0011] В возможной реализации синтез множества изображений включает в себя:

сортировку множества изображений по полю зрения и последовательное наложение каждого изображения. Процесс наложения может включать в себя увеличение масштаба, уменьшение масштаба, кадрирование, заливку или наложение изображения. Например, в процессе наложения двух изображений любое из двух изображений может быть сначала уменьшено или увеличено в масштабе, а затем наложено на другое изображение. В процессе наложения на центральную часть относительно большого изображения может быть наложено относительно малое изображение, или краевая часть относительно большого изображения может быть заполнена относительно малым изображением. Синтезируя изображения описанным выше образом, можно учитывать требования большого поля зрения и мелких деталей.

[0012] В возможной реализации последовательное наложение каждого изображения включает в себя:

последовательное получение, в порядке убывания полей зрения, коэффициента S полей зрения каждого изображения для изображения Fmin, соответствующего наименьшему полю зрения;

сохранение изображения Fmin, соответствующего наименьшему полю зрения, неизменным и последовательное увеличение оставшихся изображений на основе соответствующего коэффициента S поля зрения для получения увеличенного изображения; и

последовательное наложение изображения Fmin и всех увеличенных изображений в порядке возрастания полей зрения.

[0013] Благодаря сортировке каждого изображения и последовательному наложению каждого изображения в порядке возрастания полей зрения он подходит для сценариев, в которых учитывается большое поле зрения и мелкие детали, что повышает эффективность синтеза изображений.

[0014] В возможной реализации последовательное наложение каждого изображения включает в себя:

последовательное получение, в порядке убывания полей зрения, коэффициента S полей зрения изображения Fmax, соответствующего наибольшему полю зрения для каждого изображения;

сохранение изображения Fmax, соответствующего наибольшему полю зрения, неизменным и последовательное увеличение оставшихся изображений на основе соответствующего коэффициента S поля зрения для получения уменьшенного изображения; и

последовательное наложение изображения Fmax и всех уменьшенных изображений в порядке возрастания полей зрения.

[0015] Благодаря сортировке каждого изображения и последовательному наложению каждого изображения в порядке убывания полей зрения оно подходит для сценария, в котором учитываются разрешение и четкие детали, тем самым повышая эффективность синтеза изображения.

[0016] В возможной реализации получение множества изображений, соответствующих по меньшей мере двум полям зрения, включает в себя: если по меньшей мере два поля зрения соответствуют множеству камер, сохранение исходного захваченного изображения, соответствующего каждой камере; а также

синтез множества изображений включает в себя: синтез исходного захваченного изображения, соответствующего каждой камере, и ассоциативное связывание синтезированного изображения с исходным захваченным изображением, соответствующим каждой камере.

[0017] Если по меньшей мере два поля зрения соответствуют множеству камер, это означает, что каждая камера соответствует каждому полю зрения, то есть одно поле зрения соответствует одной камере. В процессе фотографирования одна камера захватывает одно исходное изображение на основе соответствующего поля зрения, а синтезированное изображение (то есть первое изображение) представляет собой синтезированное изображение, полученное после кадрирования и синтеза исходного изображения каждой камеры. После определения первого изображения путем синтеза также определяются разрешение и поле зрения. В существующей технологии, если первое изображение увеличивается или уменьшается, увеличивается или уменьшается только размер первого изображения, а разрешение и поле зрения первого изображения остаются неизменными. При ассоциативном связывании первого изображения с соответствующим исходным захваченным изображением и сохранении первого изображения, когда увеличение или уменьшение масштаба выполняется позже, может быть вызвано соответствующее исходное захваченное изображение для адаптивной регулировки поля зрения и разрешения, тем самым удовлетворяя требования пользователя по обеспечению поля зрения и разрешения при увеличении или уменьшении масштаба и улучшению восприятия пользователя.

[0018] В возможной реализации после отображения синтезированного изображения способ дополнительно включает в себя:

обнаружение пятой операции, используемой для масштабирования;

определение текущего режима масштабирования и текущего коэффициента масштабирования в ответ на обнаруженную пятую операцию, причем режим масштабирования включает в себя первый режим масштабирования и второй режим масштабирования; и

если текущий режим масштабирования является первым режимом масштабирования, получение всех исходных захваченных изображений, соответствующих синтезированному изображению, масштабирование исходных изображений на основе текущего коэффициента масштабирования для формирования второго изображения и отображение второго изображения; или

если текущий режим масштабирования является вторым режимом масштабирования, получение максимум двух исходных захваченных изображений, соответствующих синтезированному изображению, масштабирование исходных изображений на основе текущего коэффициента масштабирования для формирования второго изображения и отображение второго изображения.

[0019] Пятая операция может быть использована после синтеза первого изображения и может быть дополнительно использована для постобработки, причем постобработка может включать в себя увеличение и уменьшение масштаба. Первый режим масштабирования может быть уменьшением масштаба, а коэффициент уменьшения масштаба может находиться в диапазоне от 0,33 до 1. Режим уменьшения масштаба может изменить поле зрения, но не изменить размер изображения, или может изменить как поле зрения, так и размер изображения. Когда изображение уменьшено, изображение может быть первым изображением. Поскольку первое изображение ассоциативно связано с исходным захваченным изображением соответствующей камеры, могут быть вызваны исходные захваченные изображения всех соответствующих камер. Например, обычно исходные захваченные изображения включают в себя одно широкоугольное исходное захваченное изображение, одно стандартное исходное захваченное изображение и одно исходное захваченное длиннофокусное изображение. После уменьшения масштаба на основе текущего коэффициента уменьшения масштаба три вышеупомянутых исходных захваченных изображения снова синтезируются для получения окончательного уменьшенного изображения (то есть второго изображения), и второе изображение отображается, тем самым увеличивая поле просмотра при уменьшении размера изображения.

[0020] Кроме того, вторым режимом масштабирования может быть увеличение масштаба, и коэффициент увеличения масштаба может быть между 1 и 3,33 или может быть больше 3,33. Если коэффициент увеличения масштаба составляет от 1 до 3,33, могут быть вызваны два исходных захваченных изображения, соответствующих изображению предварительного просмотра, например, одно стандартное исходное захваченное изображение и одно исходное захваченное длиннофокусное изображение. После кадрирования и синтеза двух исходных захваченных изображений может быть получено конечное увеличенное изображение (то есть второе изображение) и отображено второе изображение. Если коэффициент увеличения масштаба больше 3,33, может быть вызвано широкоугольное исходное захваченное изображение, широкоугольное исходное захваченное изображение увеличивается посредством повышающей дискретизации, а затем выполняется кадрирование для получения окончательного увеличенного изображения, и отображается второе изображение, тем самым обеспечивая четкость изображения при увеличении размера изображения.

[0021] Согласно второму аспекту эта заявка обеспечивает мобильный терминал, включающий в себя:

память, причем память сконфигурирована для хранения кода компьютерной программы, код компьютерной программы включает в себя инструкцию, и когда мобильный терминал считывает инструкцию из памяти, мобильный терминал получает возможность выполнять следующие шаги: обнаружение первой операции, использованной для выбора режима фотосъемки;

определение текущего режима фотографирования в ответ на обнаруженную первую операцию;

отображение интерфейса дисплея, используемого для выбора поля зрения, при этом интерфейс дисплея включает в себя опцию поля зрения, соответствующего по меньшей мере одной камере;

обнаружение второй операции, используемой для выбора опций по меньшей мере двух полей зрения;

определение по меньшей мере двух полей зрения, соответствующих текущему режиму фотографирования, в ответ на обнаруженную вторую операцию, причем по меньшей мере два поля зрения соответствуют одной или более камерам;

обнаружение третьей операции, используемой для фотографирования;

получение множества изображений, соответствующих по меньшей мере двум полям зрения, в ответ на обнаруженную третью операцию, причем каждое из по меньшей мере двух полей зрения соответствует по меньшей мере одному изображению; и

синтез множества изображений для формирования первого изображения и отображение первого изображения.

[0022] В возможной реализации, когда инструкция выполняется мобильным терминалом, прежде чем мобильный терминал выполнит этап обнаружения первой операции, используемой для выбора режима фотографирования, дополнительно выполняется следующий этап:

запускают первую камеру и отображают интерфейс предварительного просмотра фотографирования, захваченный первой камерой; причем

отображаемый интерфейс дисплея, используемый для выбора поля зрения, включает в себя только поле зрения, соответствующее первой камере; или

отображаемый интерфейс дисплея, используемый для выбора поля зрения, включает в себя только угол поля зрения, соответствующий первой камере, и угол поля зрения, соответствующий другой камере на той же стороне мобильного терминала, что и вторая камера; или

на отображаемом интерфейсе дисплея, используемом для выбора поля зрения, опция поля зрения, соответствующего первой камере, отображается заметным образом; или

на отображаемом интерфейсе дисплея, используемом для выбора поля зрения, поля зрения, соответствующие одной и той же камере, отображаются одинаковым образом; или

на отображаемом интерфейсе дисплея, используемом для выбора поля зрения, поля зрения, соответствующие камерам на той же стороне мобильного терминала, отображаются одинаковым образом; или

на отображаемом интерфейсе дисплея, используемом для выбора поля зрения, отображается рекомендуемая комбинация полей зрения заметным образом.

[0023] В возможной реализации, когда инструкция выполняется мобильным терминалом, мобильный терминал получает возможность выполнять следующие этапы после выполнения этапа запуска первой камеры и отображения интерфейса предварительного просмотра фотографирования, захваченного первой камерой:

обнаружение четвертой операции, используемой для переключения камеры; и

запуск второй камеры в ответ на обнаруженную четвертую операцию и отображение интерфейса предварительного просмотра фотографирования, захваченного второй камерой; и

отображаемый интерфейс дисплея, используемый для выбора поля зрения, включает в себя только поле зрения, соответствующее второй камере; или

отображаемый интерфейс дисплея, используемый для выбора поля зрения, включает в себя только поле зрения, соответствующее второй камере, и поле зрения, соответствующее другой камере на той же стороне мобильного терминала, что и вторая камера; или

на отображаемом интерфейсе дисплея, используемом для выбора поля зрения, опция поля зрения, соответствующего второй камере, отображается заметным образом; или

на отображаемом интерфейсе дисплея, используемом для выбора поля зрения, поля зрения, соответствующие одной и той же второй камере, отображаются одинаковым образом; или ж

на отображаемом интерфейсе дисплея, используемом для выбора поля зрения, поля зрения, соответствующие камерам на одинаковой стороне мобильного терминала, отображаются одинаковым образом; или

на отображаемом интерфейсе дисплея, используемом для выбора поля зрения, отображается рекомендуемая комбинация полей зрения заметным образом.

[0024] В возможной реализации, когда инструкция выполняется мобильным терминалом, то, что мобильный терминал может выполнять этап синтеза множества изображений, включает в себя:

сортировку множества изображений по полю зрения и последовательное наложение каждого изображения.

[0025] В возможной реализации, когда инструкция выполняется мобильным терминалом, то, что мобильный терминал может выполнять этап последовательного наложения каждого изображения, включает в себя:

последовательное получение, в порядке убывания полей зрения, коэффициента S поля зрения каждого изображения для изображения Fmin, соответствующего наименьшему полю зрения;

сохранение изображения Fmin, соответствующего наименьшему полю зрения, неизменным и последовательное увеличение масштаба оставшихся изображений на основе соответствующего коэффициента S поля зрения для получения изображения в увеличенном масштабе; а также

последовательное наложение изображения Fmin и всех изображений в увеличенном масштабе в порядке возрастания полей зрения.

[0026] В возможной реализации, когда инструкция выполняется мобильным терминалом, то, что мобильный терминал может выполнять этап последовательного наложения каждого изображения, включает в себя:

последовательное получение, в порядке убывания полей зрения, коэффициента S поля зрения изображения Fmax, соответствующее наибольшему полю зрения для каждого изображения;

сохранение изображения Fmax, соответствующего наибольшему полю зрения, неизменным и последовательное увеличение масштаба оставшихся изображений на основе соответствующего коэффициента S поля зрения для получения изображения в уменьшенном масштабе; а также

последовательное наложение изображения Fmax и всех изображений в уменьшенном масштабе в порядке возрастания полей зрения.

[0027] В возможной реализации, когда инструкция выполняется мобильным терминалом, то, что мобильный терминал может выполнять этап получения множества изображений, соответствующих по меньшей мере двум полям зрения, включает в себя:

если по меньшей мере два поля зрения соответствуют множеству камер, сохранение исходного захваченного изображения, соответствующего каждой камере; и

синтез множества изображений включает в себя: синтез исходного захваченного изображения, соответствующего каждой камере, и ассоциативное связывание синтезированного изображения с исходным захваченным изображением, соответствующим каждой камере.

[0028] В возможной реализации, когда инструкция выполняется мобильным терминалом, после чего мобильному терминалу разрешается выполнять этап отображения синтезированного изображения, дополнительно выполняется следующий этап:

обнаружение пятой операции, используемой для масштабирования;

определение текущего режима масштабирования и текущего коэффициента масштабирования в ответ на обнаруженную пятую операцию, причем режим масштабирования включает в себя первый режим масштабирования и второй режим масштабирования; и

если текущий режим масштабирования является первым режимом масштабирования, получение всех исходных захваченных изображений, соответствующих синтезированному изображению, масштабирование исходных изображений на основе текущего коэффициента масштабирования для формирования второго изображения и отображение второго изображения; или

если текущий режим масштабирования является вторым режимом масштабирования, получение максимум двух исходных захваченных изображений, соответствующих синтезированному изображению, масштабирование исходных изображений на основе текущего коэффициента масштабирования для формирования второго изображения, и отображение второго изображения.

[0029] В соответствии с третьим аспектом данная заявка обеспечивает машиночитаемый носитель данных, причем машиночитаемый носитель данных хранит компьютерную программу, и когда компьютерная программа осуществляется на компьютере, компьютер получает возможность выполнять способ согласно первому аспекту.

[0030] В соответствии с четвертым аспектом эта заявка обеспечивает компьютерную программу, причем, когда компьютерная программа выполняется компьютером, компьютерная программа используется для выполнения способа согласно первому аспекту.

[0031] В возможном исполнении программа в четвертом аспекте может быть полностью или частично сохранена на носителе данных, который скомпонован с процессором, или может быть частично или полностью сохранена в памяти, которая не скомпонована с процессором.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0032] Фиг. 1 представляет собой схематическое представление наложения изображения в соответствии с вариантом осуществления этой заявки;

[0033] Фиг. 2 представляет собой схематическое представление структуры мобильного терминала согласно варианту осуществления этой заявки;

[0034] Фиг. 3 представляет собой схематическое представление интерфейса дисплея, используемого для фотографирования, в соответствии с вариантом осуществления этой заявки;

[0035] Фиг. 4 представляет собой схематическое представление интерфейса дисплея, используемого для выбора комбинации FOV в соответствии с вариантом осуществления этой заявки;

[0036] Фиг. 5 представляет собой схематическое представление окна опций комбинации FOV в сценарии с одной камерой в соответствии с вариантом осуществления этой заявки;

[0037] Фиг. 6 представляет собой схематическое представление окна опций комбинирования FOV в многокамерном сценарии согласно варианту осуществления этой заявки;

[0038] Фиг. 7 представляет собой схематическое представление способа обработки изображения в соответствии с вариантом осуществления этой заявки;

[0039] Фиг. 8 представляет собой схематическое представление другого способа обработки изображения в соответствии с вариантом осуществления этой заявки;

[0040] Фиг. 9 представляет собой схематическое представление формата хранения данных согласно варианту осуществления этой заявки;

[0041] Фиг. 10 представляет собой схематическое представление еще одного способа обработки изображения в соответствии с вариантом осуществления этой заявки;

[0042] Фиг. 11 представляет собой схематическое представление еще одного способа обработки изображения в соответствии с вариантом осуществления этой заявки; и

[0043] Фиг. 12 представляет собой схематическое представление архитектуры системы мобильного терминала согласно варианту осуществления этой заявки.

Описание вариантов осуществления

[0044] Далее описаны технические решения в вариантах осуществления этой заявки со ссылкой на прилагаемые чертежи в вариантах осуществления этой заявки. В описании вариантов осуществления данной заявки, если не указано иное, «/» означает «или», например, А/В может означать «А или В»; «И/или», используемый в данном документе, используется только для описания отношения ассоциации между ассоциативно связанными объектами и указывает, что могут существовать три отношения. Например, A и/или B могут означать следующее: Существует только A, существуют как A, так и B, и существует только B.

[0045] Термины «первый» и «второй» используются здесь только для описания и не могут пониматься как указывающие или подразумевающие относительную важность или неявно указывающие количество указанных технических признаков. Следовательно, признаки, заданные с помощью «первый» и «второй», могут явно или неявно включать в себя один или несколько признаков. В описании вариантов осуществления данной заявки, если не указано иное, «множество» означает два или более.

[0046] В настоящее время мобильный терминал, как правило, включает в себя камеру, и с увеличением возможности масштабирования камеры пользователь может фотографировать детали на большом расстоянии без потерь. Однако, когда для формирования изображения выполняется увеличение масштаба, поле зрения FOV для формирования изображения также пропорционально уменьшается, и пользователь может видеть только четкое изображение с меньшим полем зрения. С введением широкоугольного объектива эффект фотографирования в сценарии с большим полем зрения значительно улучшен, то есть можно выполнять сверхширокоугольное фотографирование. Однако фотографирование таким образом также имеет следующую проблему: Потеря деталей является относительно серьезной. Когда выполняют первая картинка, полученная путем фотографирования в сценарии с большим полем зрения, большее FOV приводит к более размытым деталям; когда второе изображение фотографируется после выполнения уменьшения масштаба, FOV становится меньше, а детали становятся четче.

[0047] Такая же проблема возникает и при постобработке сфотографированной фотографии. При увеличении масштаба сфотографированной фотографии детали становятся размытыми. При уменьшении масштаба фотографируемой фотографии из-за уменьшения размера фотографии поле зрения не изменяется, и, следовательно, невозможно получить информацию за пределами текущей фотографии. Точно так же после создания снимка экрана захваченной фотографии, если увеличить область снимка экрана, она будет размыта при отображении.

[0048] Следует отметить, что поле зрения используется для указания наибольшего диапазона углов, который может быть сфотографирован камерой в процессе фотографирования изображения. Если подлежащий фотографированию объект находится в пределах диапазона углов, подлежащий фотографированию объект захватывается камерой, а затем представляется на предварительном изображении. Если подлежащий фотографированию объект находится за пределами диапазона углов, подлежащий фотографированию объект не будет захвачен аппаратом захвата изображения, то есть не будет представлен на предварительном изображении. Как правило, большее поле зрения камеры указывает на больший диапазон фотографирования и меньшее фокусное расстояние; а меньшее поле зрения камеры указывает на меньшую дальность фотографирования и большее фокусное расстояние.

[0049] Как правило, поле зрения включает в себя диапазон в горизонтальном направлении и диапазон в вертикальном направлении. В данной заявке два поля зрения могут использоваться для представления соответственно диапазона в горизонтальном направлении и диапазона в вертикальном направлении, или одно поле зрения может использоваться для представления как диапазона в горизонтальном направлении, так и диапазона в вертикальном направлении. Для простоты описания ниже используется пример, в котором одно поле зрения представляет как диапазон в горизонтальном направлении, так и диапазон в вертикальном направлении. Например, как показано на фиг. 1, поле зрения α представляет собой угол, соответствующий диагональным линиям двух краев изображения, захваченного с помощью камеры с большим полем зрения, и может представлять собой как угол в горизонтальном направлении, так и угол в вертикальном направлении. R - это угол, соответствующий диагональным линиям двух краев изображения, захваченного камерой с малым полем зрения, и может представлять собой как угол в горизонтальном направлении, так и угол в вертикальном направлении.

[0050] В этой заявке «поле зрения» также может упоминаться как термин, такой как «диапазон обзора». Название поля зрения не ограничено в этой спецификации при условии, что выражена вышеизложенная концепция.

[0051] Затем изображение с большим полем зрения и изображение с малым полем зрения синтезируются для получения синтезированного изображения. В этом случае поле зрения отображаемого изображения является большим, и изображение с относительно высоким разрешением может быть представлено в деталях, чтобы удовлетворить требование улучшения качества детализации пользователя в сценарии с большим полем зрения, тем самым улучшая качество формирования изображения фотографии и улучшая восприятие пользователя.

[0052] Техническое решение, предусмотренное в этом варианте осуществления данной заявки, может быть применено к мобильному терминалу. Конкретная форма мобильного терминала, который реализует техническое решение, конкретно не ограничена в этой заявке.

[0053] Фиг. 2 представляет собой схематическое представление структуры мобильного терминала 100 согласно варианту осуществления данной заявки. Мобильный терминал включает в себя модуль 110 камеры, экран 120 дисплея, процессор 130, подсистему 140 ввода/вывода (I/O), память 150 и другое устройство 160 ввода. Модуль 110 камеры сконфигурирован для захвата изображения, а экран 120 дисплея сконфигурирован для отображения изображения и рабочего интерфейса.

[0054] Модуль 110 камеры включает в себя по меньшей мере одну камеру 111. Если модуль камеры включает в себя только одну камеру, камера является камерой с масштабированием, а камера с масштабированием может быть фронтальной или тыловой. Если модуль камеры включает в себя две камеры, и две камеры находятся соответственно на двух сторонах мобильного терминала, по меньшей мере одна камера является камерой с масштабированием; и если две камеры находятся на одной и той же стороне мобильного терминала, эти две камеры могут быть любой комбинацией камер с масштабированием или камер с фиксированным фокусом. Если модуль камеры включает в себя более двух камер, по меньшей мере две камеры находятся на одной и той же стороне мобильного терминала, то есть модуль камеры включает в себя по меньшей мере две фронтальные камеры или по меньшей мере две тыловые камеры, и камерами на одной и той же стороне может быть любая комбинация масштабирования или масштабирования камер. Камера с масштабированием может выполнять фотографирование последовательно, используя множество полей зрения, установленных пользователем так, чтобы получить изображение, соответствующее каждому полю зрения. В процессе фотографирования временной интервал фотографирования между двумя изображениями должен быть сокращен насколько возможно, чтобы обеспечить постоянство параметров экспозиции, используемых для фотографирования каждый раз, чтобы получить изображение, параметры экспозиции которого постоянны. Временной интервал фотографирования определяется настройкой аппаратного обеспечения или пользователем, то есть временной интервал фотографирования определяется параметром спецификации камеры. Например, пользователь может выбрать параметр непрерывной экспозиции, и этот параметр может включать в себя временной интервал непрерывной экспозиции. Если модуль камеры включает в себя две или более камер с фиксированным фокусом, множество камер с фиксированным фокусом включает в себя по меньшей мере одну камеру с фиксированным фокусом с большим полем зрения и по меньшей мере одну камеру с фиксированным фокусом с малым полем зрения. По меньшей мере одна камера с большим полем зрения (например, поле зрения составляет от 100 градусов до 200 градусов, и разрешение между видеографической матрицей (VGA, Video Graphics Array) и 720p) может быть, например, камерой 111; и по меньшей мере одна камера с малым полем зрения (например, поле зрения составляет от 20 градусов до 60 градусов, а разрешение составляет от 720p до 2Kp) может быть, например, камерой 112. Изображение, захваченное камерой с большим полем зрения, имеет большое поле зрения и низкое разрешение. Изображение, захваченное камерой с малым полем зрения, имеет малое поле зрения и высокое разрешение. По меньшей мере, две камеры с фиксированным фокусом могут снимать захватывать изображения одновременно. Следует понимать, что все камеры с фиксированным фокусом могут изменять фокусное расстояние посредством цифрового масштабирования, а диапазон цифрового увеличения связан с конкретной камерой с фиксированным фокусом.

[0055] Экран 120 дисплея может быть сконфигурирован для отображения информации, введенной пользователем, или информации, предоставленной пользователю, и различных меню мобильного терминала 100, и может принимать пользовательский ввод. Конкретный экран 120 дисплея может включать в себя панель 121 дисплея и сенсорную панель 122. Панель 121 дисплея может быть выполнена в виде жидкокристаллического дисплея (Liquid Crystal Display, LCD), органического светоизлучающего диода (Organic Light-Emitting Diode, OLED) и т.п. Сенсорная панель 122, также называемая сенсорным экраном, чувствительным к касанию экраном и т.п., может регистрировать контактные или бесконтактные операции пользователя на сенсорной панели 122 или рядом с ней (например, операции на сенсорной панели 122 или рядом с ней, выполняемые пользователем с помощью любого подходящего предмета или аксессуара, такого как палец или стилус), или соматосенсорной операции; операция включает в себя типы операций, такие как операция одноточечного управления, операция многоточечного управления и т.п.), и может возбуждать соответствующее соединенное устройство на основе предварительно установленной программы. Необязательно, сенсорная панель 122 может включать в себя две части: аппарат обнаружения прикосновения и сенсорный контроллер. Аппарат обнаружения касания обнаруживает положение касания и жест касания пользователя, обнаруживает сигнал от операции касания и передает сигнал сенсорному контроллеру. Сенсорный контроллер принимает информацию о касании от аппарата обнаружения касания, преобразует информацию о касании в информацию, которая может быть обработана процессором, затем отправляет информацию процессору 130 и может принимать и выполнять команды, отправленные процессором 130. Кроме того, сенсорная панель 122 может быть реализована с использованием множества типов, таких как резистивный тип, емкостной тип, инфракрасный тип и поверхностно-акустическая волна; или сенсорная панель 122 может быть реализована с использованием любой технологии, разработанной в будущем. Кроме того, сенсорная панель 122 может покрывать панель 121 дисплея. Пользователь может выполнять операции на сенсорной панели 122, покрытой на панели 121 дисплея, или рядом с ней, на основе содержимого, отображаемого на панели 121 дисплея (содержимое дисплея включает в себя, но не ограничивается, экранную клавиатуру, виртуальную мышь, виртуальную клавишу, и значок). После обнаружения операции на сенсорной панели 122, или рядом с ней, сенсорная панель 122 отправляет операцию процессору 130 с помощью подсистемы 140 I/O для определения пользовательского ввода, а затем процессор 130 обеспечивает соответствующий визуальный вывод на панели 121 дисплея на основе пользовательского ввода с помощью подсистемы 140 I/O. Хотя на фиг. 3, сенсорная панель 122 и панель 121 дисплея реализуют функции ввода и вывода мобильного терминала 100 как два отдельных компонента, в некоторых вариантах осуществления сенсорная панель 122 может быть объединена с панелью 121 дисплея для реализации функций ввода и вывода мобильного терминала 100.

[0056] В качестве центра управления мобильным терминалом 100 процессор 130 соединен с частями мобильного терминала различными интерфейсами и линиями для выполнения функций и обработки данных мобильного терминала 100 путем запуска или выполнения программного обеспечения и/или модуля, хранимого в памяти 150, и вызывать данные, хранящиеся в памяти 150, чтобы контролировать мобильный терминал в целом. Необязательно процессор 130 может включать в себя один или несколько блоков обработки; и предпочтительно процессор 130 может быть интегрирован в процессор приложений и процессор модема. Процессор приложений в основном сконфигурирован для обработки операционных систем, пользовательского интерфейса и приложения. Процессор модема в основном сконфигурирован для обработки беспроводной связи. Понятно, что процессор модема альтернативно может быть не интегрирован в процессор 130.

[0057] Подсистема 140 I/O сконфигурирована для управления внешним устройством I/O и может включать в себя контроллер 141 другого устройства ввода и контроллер 142 дисплея. Необязательно, один или более других контроллеров 141 устройств управления вводом принимают сигналы от другого устройства 140 ввода и/или отправляют сигналы на другое устройство 140 ввода. Другое устройство 140 ввода может включать в себя физическую кнопку (кнопку, манипулятор и т.п.), панель набора номера, ползунковый переключатель, джойстик, колесо прокрутки и оптическую мышь (оптическая мышь представляет собой чувствительную к касанию поверхность, которая не отображает визуальный вывод, или расширение чувствительной к касанию поверхности, образованную сенсорным экраном). Следует отметить, что каждый из других контроллеров 141 устройства управления вводом может быть соединен с любым одним или несколькими из вышеупомянутых устройств. Контроллер 142 дисплея в подсистеме 140 I/O принимает сигналы с экрана 120 дисплея и/или отправляет сигналы на экран 120 дисплея. После того как экран 120 дисплея обнаружит пользовательский ввод, контроллер 142 дисплея преобразует обнаруженный пользовательский ввод во взаимодействие с объектом пользовательского интерфейса, отображаемым на экране 120 дисплея, то есть реализует взаимодействие человека с компьютером.

[0058] Память 150 может быть сконфигурирована для хранения программного обеспечения и модуля, а процессор 130 выполняет различные функциональные приложения и обработку данных мобильного терминала 100 посредством запуска программного обеспечения и модуля, сохраненных в памяти 150. Память 150 может в первую очередь включать в себя область хранения программ и область хранения данных. В области хранения программ может храниться операционная система, приложение, требуемое по меньшей мере одной функцией (например, функцией воспроизведения звука и функцией воспроизведения изображения) и т.п. В области хранения данных могут храниться данные (например, аудиоданные и телефонная книга), созданные на основе использования мобильного терминала 100 и т.п. Кроме того, память 150 может включать в себя быстродействующую оперативную память и может дополнительно включать в себя энергонезависимую память, такую как по меньшей мере одно запоминающее устройство на магнитном диске, устройство флэш-памяти или другое энергозависимое твердотельное запоминающее устройство.

[0059] Другое устройство 160 ввода может быть сконфигурировано для приема введенной цифровой или символьной информации и формирования входного сигнала клавиши, связанного с пользовательскими настройками и управлением функциями мобильного терминала 100. В частности, другое устройство 160 ввода может включать в себя, помимо прочего, одну или несколько физических клавиатур, функциональную клавишу (такую как клавиша регулировки громкости или клавиша включения/выключения питания), шаровой манипулятор, мышь, джойстик, оптическая мышь (оптическая мышь представляет собой чувствительную к касанию поверхность, которая не отображает визуальный вывод, или расширение чувствительной к касанию поверхности, образованное сенсорным экраном) и т.п. Другое устройство 160 ввода соединено с контроллером 141 другого устройства ввода подсистемы 140 I/O и выполняет взаимодействие сигналов с процессором 130 под управлением контроллера 141 ввода другого устройства.

[0060] В этом приложении изображение, захваченное с большим полем зрения, имеет большее поле зрения, что может обеспечить более широкий угол обзора в качестве фонового изображения. Однако изображение, захваченное камерой с малым полем зрения, имеет относительно высокое разрешение изображения, что может предоставить пользователю изображение с мелкими деталями. Понятно, что в данной заявке изображение, захваченное с большим полем зрения, и изображение, захваченное с малым полем зрения, синтезируются, чтобы удовлетворить требование улучшения качества детализации пользователя в сценарии большого поля зрения, тем самым улучшая качество формирования изображения и улучшая восприятие пользователя.

[0061] Следует отметить, что, когда модуль камеры включает в себя множество камер, множество камер может быть расположено случайным образом. Например, камера 111 может быть расположена слева или справа от камеры 112, либо камера 111 может быть расположена сверху или снизу камеры 112. То есть в данной заявке взаимоотношение относительного положения между любой камерой в модуле камеры и другой камерой в модуле камеры не ограничено.

[0062] Таким образом, множество изображений, захваченных камерами в модуле 110 камеры, отображаются на экране 120 дисплея после обработки с использованием способа, обеспеченного в данной заявке, чтобы удовлетворить требования к фотографированию пользователя для изображения. Как правило, независимо от того, включает ли в себя мобильный терминал только одну камеру или множество камер, посредством фотографирования можно получить множество изображений, при этом параметры экспозиции, соответствующие множеству изображений, могут быть одинаковыми, а параметры экспозиции включают фокус, время экспозиции и чувствительность.

[0063] Способ обработки изображения, представленный в данной заявке, описан со ссылкой на фиг. 3 по фиг. 11. Способ может быть применен к упомянутому выше мобильному терминалу 100.

[0064] Этап S1: В ответ на обнаруженную операцию фотографирования одна или несколько камер захватывают множество изображений, причем каждое изображение соответствует различному целевому полю зрения.

[0065] Необязательно, перед этапом S1 мобильный терминал может отображать текущий рабочий интерфейс для пользователя, используя отображение на основе обнаруженной инструкции запуска камеры, введенной пользователем. В конкретной реализации пользователь может щелкнуть значок, соответствующий приложению камеры на экране дисплея, чтобы запустить камеру для фотографирования. Соответственно, после запуска камеры мобильного терминала пользователь может просмотреть на интерфейсе дисплея мобильного терминала изображение, полученное камерой в режиме реального времени.

[0066] Следует понимать, что для запуска приложения путем щелчка по значку пользователь может щелкнуть или дважды щелкнуть по значку или управлять значком другим образом. Это не ограничено в этом варианте осуществления настоящей заявки.

[0067] В возможной реализации после запуска камеры отображается интерфейс дисплея, показанный на фиг. 3 можно увидеть. Ссылаясь на фиг. 3, интерфейс 300 дисплея мобильного терминала включает в себя рабочую область 310 фотографирования, область 320 выбора режима фотографирования, область 330 предварительного просмотра изображения и область 340 установки параметров режима. Область 320 выбора режима фотографирования включает в себя множество опций 321 режима фотографирования, например, большую апертуру, ночную сцену, фото, мульти-FOV (multi-FOV), видео и профессиональный режим. Рабочая область 310 фотографирования включает в себя кнопку 311 фотографирования и кнопку 312 переключения камеры. Следует отметить, что мобильный терминал с одной камерой не имеет функции переключения камер и, следовательно, не имеет кнопки 312 переключения камер. Когда мобильный терминал включает в себя множество камер, и камеры расположены с обеих сторон мобильного терминала, мобильный терминал имеет функцию переключения камер и может включать в себя кнопку 312 переключения камер.

[0068] В частности, если мобильный терминал включает в себя множество камер, и камеры расположены с двух сторон мобильного терминала, текущие камеры могут быть выбраны нажатием кнопки 312 переключения камер в рабочей области 310 фотографирования, то есть фронтальные камеры, или тыловые камеры могут быть выбраны. В выбранных на данный момент камерах, если по меньшей мере одна камера имеет функцию фотографирования мульти-FOV, опция мульти-FOV появляется в опциях 321 в области 320 выбора режима фотографирования. Если мобильный терминал включает в себя только одну камеру, в этом случае нет необходимости переключать камеру. Если текущая камера поддерживает функцию фотографирования мульти-FOV, опция мульти-FOV появляется в опциях 321 в области 320 выбора режима фотографирования; в противном случае опция мульти-FOV не отображается. После щелчка по опции FOV в области 340 настройки параметров режима появляется соответствующая опция 341 параметра режима, такая как вспышка, опция комбинации FOV и некоторые другие опции параметра экспозиции. После щелчка по опции комбинирования FOV в опции 341 параметра режима область 3410 опций комбинирования FOV отображается в текущем интерфейсе для выбора пользователем, как показано на фиг. 4. Пользователь может выбирать опции в области 3410 опций комбинации FOV, чтобы определить требуемую в настоящее время комбинацию FOV. Выбранная опция может быть представлена таким образом, как галочка или изменение цвета. В данном варианте осуществления это не ограничено.

[0069] Следует отметить, что после переключения камеры текущий интерфейс предварительного просмотра фотографирования может быть получен с использованием переключенной камеры, и соответствующий интерфейс отображения выбранного поля зрения также ассоциативно связан с переключенной камерой. Например, основная камера из фронтальных камер захватывает и отображает картинку предварительного просмотра фотографирования. После переключения камеры основная камера в тыловых камерах захватывает и отображает картинку предварительного просмотра фотографирования. Таким образом, переключение камер может быть удобно выполнено, и пользователь может случайным образом синтезировать изображение, захваченное фронтальными камерами, или изображение, захваченное тыловыми камерами, тем самым улучшая разнообразие выбора и удобство для пользователя.

[0070] В конкретной реализации в качестве примера используется мобильный терминал с одной камерой. Фиг. 5 показывает форму представления области 3410 опций комбинирования FOV в случае одной камеры. Область 3410 опций комбинирования FOV включает в себя одно или более окон 3410a опций и опций 3410b FOV. Пользователь может щелкнуть одно или несколько окон опций, чтобы определить текущую комбинацию FOV. Каждая опция FOV соответствует коэффициенту масштабирования, например, 0,6X, 1X, 2X, 4X, 8X и 16X. Опция FOV связана с возможностью масштабирования камеры. Как показано на фиг. 5 отмечены окна опций 1,0X, 4,0X и 8,0X, что означает, что пользователь выбирает три коэффициента масштабирования: 1,0X, 4,0X и 8,0X. На фиг. 6 показана форма представления области 3410 опций комбинирования FOV в случае трех камер. Область 3410 опций комбинирования FOV включает в себя области 3411 опций подкамер, и каждая область 3411 опций подкамер включает в себя окно 3410a опций и опцию 3410b FOV. Каждая область 3411 опций подкамеры соответствует одной камере на мобильном терминале. Когда выбрана опция FOV, только одна опция может быть выбрана в каждой области 3411 опций подкамеры, так что каждая камера получает текущий коэффициент масштабирования, и каждая камера захватывает изображение на основе текущего установленного коэффициента масштабирования.

[0071] Следует отметить, что на интерфейсах дисплея, используемых для выбора поля зрения, показанных на фиг. 5 и фиг. 6, для камеры, соответствующей текущей картинке предварительного просмотра, опции поля зрения камеры могут отображаться заметным образом, например, быть жирным, выделенным или выбранным так, чтобы рекомендовать пользователю, опции поля зрения, соответствующие камере. Опции поля зрения одной и той же камеры могут отображаться одинаковым образом, например, с использованием одного и того же цвета и/или одного и того же шрифта. Кроме того, выбранные опции поля зрения всех камер на одной и той же стороне мобильного терминала также могут отображаться одинаковым образом, например, с использованием одного и того же цвета и/или одного и того же шрифта. Кроме того, в отображаемом интерфейсе дисплея, используемом для выбора поля зрения, может быть рекомендованная по умолчанию комбинация полей зрения, и эта комбинация может отображаться заметным образом, например, быть жирным, выделенным или выбранным. Используя описанный выше способ, пользователь может более удобно и быстро выбирать комбинацию полей зрения, тем самым повышая эффективность фотографирования.

[0072] Следует понимать, что каждая область 3411 опций подкамеры может соответствовать камере с масштабированием или может соответствовать камере с фиксированным фокусом. Если камера является зум-камерой, коэффициент масштабирования в опции FOV является коэффициентом оптического масштабирования; или, если камера является камерой с фиксированным фокусом, коэффициент масштабирования в опции FOV является коэффициентом цифрового масштабирования.

[0073] После того, как пользователь выбирает комбинацию FOV, пользователь может снова щелкнуть опцию комбинации FOV в опции 341 параметра режима или может щелкнуть в любом месте экрана, чтобы выйти из состояния выбора текущей опции комбинации FOV; или кнопка подтверждения устанавливается в области 3410 опций комбинации FOV, чтобы выйти из состояния выбора текущей опции комбинации FOV после того, как пользователь щелкнет кнопку подтверждения. После выхода из состояния выбора текущей опции комбинации FOV, опция комбинации FOV сохраняется в системе, и отображается интерфейс, используемый для фотографирования в режиме мульти-FOV, показанный на фиг. 3.

[0074] В конкретной реализации, если мобильный терминал включает в себя множество камер, например, мобильный терминал может включать в себя две камеры или мобильный терминал может включать в себя три камеры. Используя мобильный терминал с тремя камерами в качестве примера, если три камеры мобильного терминала находятся на одной стороне, мобильный терминал может включать в себя широкий угол (например, фокусное расстояние широкого угла составляет 16 мм, а фокусное расстояние можно изменять с помощью цифрового зума), стандартную (например, стандартное фокусное расстояние равно 48 мм, а фокусное расстояние можно изменить с помощью цифрового зума) и длиннофокусную (фокусное расстояние большого фокусное расстояние составляет 160 мм, а фокусное расстояние можно изменить с помощью цифрового зума) камеры. Во время фотографирования три камеры захватывают одно изображение одновременно. Следовательно, мобильный терминал с тремя камерами на одной стороне может одновременно получать три изображения в режиме мульти-FOV: широкоугольное изображение, стандартное изображение и длиннофокусное изображение. Каждое изображение соответствует соответствующей камере, то есть соответствует текущему установленному FOV каждой камеры.

[0075] Следует отметить, что, когда мобильный терминал выполняет фотографирование в режиме мульти-FOV с помощью одной камеры, показанной на фиг. 5, поскольку, когда одна камера выполняет фотографирование, последовательно фотографируется множество изображений, необходимо гарантировать, что множество изображений, сфотографированных в режиме мульти-FOV, будут сфотографированы на основе одних и тех же параметров экспозиции. Однако для фотографирования в режиме FOV с помощью множества камер, показанных на фиг. 6, поскольку множество камер выполняет фотографирование одновременно, параметры экспозиции, соответствующие изображениям, сфотографированным каждой камерой, одинаковы, причем параметры экспозиции включают в себя фокус, время экспозиции и чувствительность.

[0076] Необязательно, на этапе s1, после того как пользователь запускает камеру, операция пользователя может быть дополнительно обнаружена, и после того, как будет обнаружена инструкция пользователя по фотографированию (например, пользователь нажимает кнопку 311 фотографирования в рабочей области 310 фотографирования на интерфейс дисплея 300), камера может быть инструктирована захватить изображение. Инструкция пользователя по фотографированию может быть выполнена путем нажатия кнопки фотографирования на рабочем интерфейсе или может быть выполнена путем длительного нажатия или другим образом, который не ограничен в этом варианте осуществления.

[0077] Этап S2: Сортировка изображений по целевому полю зрения и последовательное наложение каждого изображения на основе расположения изображений, чтобы получить первое изображение.

[0078] В частности, после получения множества изображений с разными FOV сортировка может быть выполнена в порядке убывания или возрастания значений FOV, чтобы получить упорядоченные изображения. Затем упорядоченные изображения последовательно накладываются друг на друга для получения синтезированного изображения, то есть первого изображения. Наложение выполняется на основе приоритета мелких деталей, то есть изображение с более мелкими деталями обычно накладывается на изображение с менее мелкими деталями.

[0079] В возможной реализации изображение, соответствующее наименьшему полю зрения, остается неизменным, а изображения последовательно накладываются друг на друга в порядке возрастания полей зрения для получения синтезированного изображения. В процессе сортировки последовательно получают, в порядке возрастания полей зрения, коэффициент поля зрения текущего изображения для изображения, соответствующему наименьшему полю зрения, и текущее изображение увеличивается в масштабе на основе коэффициента поля зрения для получения изображения в увеличенном масштабе; и центральная точка изображения, соответствующая наименьшему полю зрения, и центральная точка изображения в увеличенном масштабе совмещаются, а затем два изображения накладываются друг на друга для получения текущего промежуточного синтезированного изображения, причем изображение, соответствующее наименьшему полю зрения в накладывающейся части накладывается на изображение в увеличенном масштабе; и следующее изображение в увеличенном масштабе и текущее промежуточное синтезированное изображение накладываются для создания следующего промежуточного синтезированного изображения, причем текущее промежуточное синтезированное изображение в накладывающейся части накладывается на следующее увеличенное изображение до тех пор, пока все изображения не будут наложены друг на друга для получения синтезированного изображения.

[0080] В частности, изображение, соответствующее наименьшему FOV, может быть найдено во всех изображениях и названо Fmin, а изображение Fmin остается неизменным. Затем на основе последовательности изображений находят следующее изображение F1, большее, чем Fmin, и вычисляют коэффициент F1/Fmin, и F1 увеличивается в масштабе на основе этого коэффициента посредством повышающей дискретизации с использованием такого метода, как линейная интерполяция или интерполяция B-сплайна. Например, если предположить, что коэффициент F1/Fmin равен 2, изображение F1 увеличивается в масштабе в 2 раза посредством повышающей дискретизации, так что поле зрения изображения F1 является одинаковым с полем зрения изображения Fmin. Затем изображение F1 и изображение Fmin накладываются друг на друга для получения промежуточного синтезированного изображения X1, причем процесс наложения выполняется на основе приоритета мелких деталей. То есть, когда изображение F1 и изображение Fmin накладываются друг на друга, поскольку изображение Fmin более четкое, чем изображение F1, изображение Fmin накладывается на изображение F1. После завершения наложения изображения F1 накладывается следующее изображение; то есть находят следующее изображение F2, большее, чем F1, и вычисляют коэффициент F2/Fmin. Аналогично F2 увеличивается в масштабе на основе коэффициента посредством повышающей дискретизации с использованием такого метода, как линейная интерполяция или интерполяция B-сплайна. Затем изображение F2 и изображение X1 накладываются друг на друга. Процесс наложения также выполняется на основе приоритета мелких деталей. Поскольку изображение X1 мельче, чем F2, изображение X1 накладывают на изображение F2 до промежуточного синтезированного изображения X2, а затем находят следующее изображение для наложения, пока все изображения не будут совмещены.

[0081] Следует понимать, что в процессе синтеза все изображения, за исключением изображения Fmin, могут быть сначала увеличены в масштабе посредством повышающей дискретизации для получения соответствующего изображения в увеличенном масштабе. Затем наложение может выполняться последовательно, начиная с изображения в увеличенном масштабе изображения, соответствующего наибольшему FOV. Например, если предположить, что Fmin является первым изображением, а изображение, соответствующее наибольшему FOV, является последним изображением, сначала изображение в увеличенном масштабе изображения, предшествующего изображению, соответствующему наибольшему FOV (то есть изображение в увеличенном масштабе предпоследнего изображения) наслаивается на изображение в увеличенном масштабе последнего изображения, а затем на изображение в увеличенном масштабе третьего с конца изображения накладывается изображение в увеличенном масштабе предпоследнего изображения, и наложение продолжается до тех пор, пока первое изображение Fmin не наложится на изображение в увеличенном масштабе второго изображения, то есть накладываются все изображения. Окончательный эффект синтеза показан на фиг. 7.

[0082] Следует понимать, что при обработке изображений повышающая дискретизация (upsampling) означает, что новый элемент вставляется между пикселями на основе исходного изображения с использованием надлежащего алгоритма интерполяции (например, интерполяция ближайшего соседа, билинейная интерполяция и интерполяция среднего), чтобы улучшить разрешение исходного изображения.

[0083] Со ссылкой на фиг. 7 синтез трех изображений используется в качестве примера для описания. После того, как три изображения отсортированы по полям зрения изображений, получаются следующие изображения: изображение 710, соответствующее самому большому полю зрения, с соответствующим коэффициентом масштабирования 4Х; изображение 720, соответствующее меньшему полю зрения, с соответствующим коэффициентом масштабирования 2X; и изображение 730, соответствующее наименьшему полю зрения, с соответствующим коэффициентом масштабирования 1X. Затем изображение 730, соответствующее наименьшему полю зрения, остается неизменным, и коэффициент S1 FOV между изображением 710 и изображением 720 получается путем вычисления, то есть S1=2, и коэффициент S2 FOV между изображением 710 и изображение 730 получается путем вычисления, то есть S2=4. Изображение 720 увеличивается в масштабе на основе S1, то есть изображение 720 увеличивается в масштабе в 2 раза (где увеличение масштаба представляет собой масштабирование на увеличение) для получения изображения 721. Изображение 721 объединяется с изображением 730. В процессе объединения изображение 730 накладывается на изображение 721 посредством выравнивания на основе центральных точек двух изображений; то есть центральная точка изображения 730 выравнивается с центральной точкой изображения 721, а затем выполняется наложение, чтобы получить промежуточное синтезированное изображение 731. Затем изображение 710 увеличивается в масштабе на основе S2, то есть изображение 710 увеличивается в масштабе в 4 раза (где увеличение масштаба представляет собой масштабирование на увеличение) для получения изображения 711. Изображение 711 объединяется с изображением 731. В процессе объединения изображение 731 накладывается на изображение 711 посредством выравнивания на основе центральных точек двух изображений; то есть центральная точка изображения 731 выравнивается с центральной точкой изображения 711, а затем выполняется наложение, чтобы получить окончательное синтезированное изображение 740. В качестве примера использованы две фотографии размером 3000*3000 пикселей. Одна из двух фотографий имеет коэффициент масштабирования 2X и соответствующее поле зрения 0,5, а другая фотография имеет коэффициент масштабирования 4X и соответствующее FOV 0,25. Фотография 4X может быть сохранена без изменений, а разрешение фотографии 2X увеличено в 2 раза по сравнению с исходным разрешением за счет повышающей дискретизации, то есть фотография 2X включает в себя 6000*6000 пикселей. Затем центральная точка фотографии 2X и центральная точка центра фотографии 4X выравниваются, а затем два изображения накладываются друг на друга, чтобы получить фотографию, включающую в себя 6000*6000 пикселей. После вышеописанных операций фотография увеличивается в масштабе, и из двух фотографий выбирается фотография с наибольшим FOV. Кроме того, в диапазоне пикселей 3000*3000 центральной области, поскольку на двух изображениях выбирается фотография с меньшим FOV, диапазон пикселей 3000*3000 центральной области не приводит к более низкому разрешению после того, как фотография увеличена в масштабе. Таким образом, синтезированная фотография может соответствовать требованиям FOV и мелких деталей.

[0084] Следует отметить, что в процессе наложения центральные точки двух изображений, подлежащих синтезу, могут быть выравнены до того, как два изображения будут синтезированы, и выравнивание может быть выполнено с использованием метода жесткой регистрации, например, метод жесткой регистрации на основе взаимной информации или метод регистрации на основе признаков.

[0085] В возможной реализации изображение, соответствующее наибольшему полю зрения, остается неизменным, а изображения последовательно накладываются друг на друга в порядке убывания полей зрения для получения синтезированного изображения. В процессе сортировки коэффициент поля зрения изображения, соответствующего наибольшему полю зрения, к текущему изображению последовательно получают в порядке убывания полей зрения, и текущее изображение уменьшается в масштабе на основе коэффициента поля зрения для получения изображения в уменьшенном масштабе; и центральная точка изображения, соответствующая наименьшему полю зрения, и центральная точка изображения в уменьшенном масштабе выравниваются, а затем два изображения накладываются друг на друга для получения текущего промежуточного синтезированного изображения, причем изображение в увеличенном масштабе в наслаивающейся части наслаивается на изображение, соответствующее наибольшему полю зрения; и следующее изображение в уменьшенном масштабе и текущее промежуточное синтезированное изображение накладываются для создания следующего промежуточного синтезированного изображения, причем следующее изображение в уменьшенном масштабе в накладывающейся части накладывается на текущее промежуточное синтезированное изображение до тех пор, пока все изображения не будут наложены друг на друга для получения синтезированного изображения.

[0086] В частности, изображение, соответствующее наибольшему FOV, может быть найдено на всех изображениях и названо Fmax, а изображение Fmax остается неизменным. Затем на основе последовательности изображений находят следующее изображение F1, меньшее, чем Fmax, и вычисляют коэффициент Fmax/F1, и F1 уменьшается в масштабе на основе коэффициента путем понижающей дискретизации с использованием такого метода, как линейная интерполяция или интерполяция B-сплайна. Например, если предположить, что коэффициент Fmax/F1 равно 2, изображение F1 уменьшается в масштабе в 2 раза за счет понижающей дискретизации, так что поле зрения изображения F1 совпадает с полем зрения изображения Fmax. Затем изображение F1 и изображение Fmax накладываются для получения промежуточного синтезированного изображения X1, причем процесс наложения выполняется на основе приоритета приоритета мелких деталей. То есть, когда изображение F1 и изображение Fmax накладываются друг на друга, поскольку изображение F1 более четкое, чем изображение Fmax, изображение F1 накладывается на изображение Fmax. После завершения наложения изображения F1 накладывается следующее изображение; то есть находят следующее изображение F2, меньшее, чем F1, и вычисляют коэффициент Fmax/F2. Точно так же F2 уменьшается в масштабе на основе коэффициента посредством понижающей дискретизации с использованием такого метода, как линейная интерполяция или интерполяция B-сплайна. Затем изображение F2 и изображение X1 накладываются друг на друга. Процесс наложения также выполняется на основе приоритета мелких деталей. Поскольку изображение F2 мельче, чем X1, изображение F2 накладывается на изображение X1 до промежуточного синтезированного изображения X2, а затем находят следующее изображение для наложения, пока все изображения не будут совмещены.

[0087] Следует понимать, что в процессе синтеза все изображения, кроме изображения Fmax, могут быть сначала уменьшены в масштабе посредством понижающей дискретизации для получения соответствующего изображения в уменьшенном масштабе. Затем, начиная с изображения F1, изображение в уменьшенном масштабе может быть последовательно наслоено на предыдущее изображение в уменьшенном масштабе. Например, изображение в уменьшенном масштабе изображения F1 сначала наслаивается на изображение в уменьшенном масштабе изображения Fmax, а затем изображение в уменьшенном масштабе изображения F2 накладывается на изображение в уменьшенном масштабе изображения F1 до тех пор, пока все изображения не будут наложены друг на друга. Окончательный эффект синтеза показан на фиг. 8.

[0088] Следует понимать, что при обработке изображений субдискретизация (subsampling) означает уменьшение размера исходного изображения. Например, для изображения размером M*N выполняется субдискретизация изображения на основе S раз, чтобы получить изображение с разрешением (M/S) * (N/S), где S должно быть общим числом из M и N. Если изображение находится в матричной форме, изображение в окне S*S исходного изображения заменяется пикселем, а значение пикселя представляет собой среднее значение всех пикселей в окне.

[0089] Со ссылкой на фиг. 8 синтез трех изображений используется в качестве примера для описания. После того, как три изображения отсортированы по полям зрения изображений, получаются следующие изображения: изображение 810, соответствующее самому большому полю зрения, с соответствующим коэффициентом масштабирования 4X; изображение 820, соответствующее меньшему полю зрения, с соответствующим коэффициентом масштабирования 2Х; и изображение 830, соответствующее наименьшему полю зрения, с соответствующим коэффициентом масштабирования 1X. Затем изображение 810, соответствующее наибольшему полю зрения, остается неизменным, и коэффициент S1 FOV между изображением 810 и изображением 820 получается путем вычисления, то есть S1=2, и коэффициент S2 FOV между изображением 810 и изображением 830 получается путем вычисления, то есть S2=4. Изображение 820 уменьшается в масштабе на основе S1, то есть изображение 820 уменьшается в масштабе в 2 раза, чтобы получить изображение 821. Изображение 821 объединяется с изображением 810. В процессе объединения изображение 821 накладывается на изображение 810 посредством выравнивания на основе центральных точек двух изображений; то есть центральная точка изображения 810 выравнивается с центральной точкой изображения 821, а затем выполняется наложение, чтобы получить промежуточное синтезированное изображение 811. Затем изображение 830 уменьшается в масштабе на основе S2, то есть изображение 830 уменьшается в масштабе в 4 раза для получения изображения 831. Изображение 831 объединяется с изображением 811. В процессе объединения изображение 831 накладывается на изображение 811 посредством выравнивания на основе центральных точек двух изображений; то есть центральная точка изображения 811 выравнивается с центральной точкой изображения 831, а затем выполняется наложение, чтобы получить окончательное синтезированное изображение 840. Точно так же в качестве примера используются две фотографии, у которых оба пикселя имеют размер 3000*3000. Одна из двух фотографий имеет коэффициент масштабирования 2X, соответствующее поле зрения 0,5, а другая из двух фотографий имеет коэффициент масштабирования 4X и соответствующее поле зрения 0,25. Фото 2X можно сначала оставить без изменений, а разрешение фото 4X уменьшить в 2 раза за счет понижающей дискретизации, то есть фото 4X уменьшить до 1500*1500 пикселей. Затем фотография 2X и фотография 4X выравниваются и накладываются друг на друга, чтобы получить фотографию размером 3000*3000 пикселей, чтобы удовлетворить требования большого сценария и мелких деталей.

[0090] В возможной реализации, если фотографирование выполняется в многокамерном режиме, показанном на фиг. 6, множество изображений может быть получено одновременно, причем каждое изображение соответствует одной камере.

[0091] В частности, в многокамерном режиме фотографирования, показанном на фиг. 6, когда пользователь выбирает множество полей зрения, это означает, что пользователь выбирает множество камер, и каждое поле зрения может соответствовать одной камере. Таким образом, когда выполняется фотографирование, исходное захваченное изображение, полученное каждой выбранной камерой, может быть сохранено, а затем исходное захваченное изображение, полученное каждой выбранной камерой, может быть синтезировано, и синтезированное изображение ассоциативно связано с исходным захваченным изображением, захваченным с помощью каждой выбранной камеры. Следовательно, когда масштабирование выполняется впоследствии, может быть вызвано соответствующее исходное захваченное изображение, чтобы удовлетворить требованиям масштабирования и четкости изображения.

[0092] Следует отметить, что когда фотографирование выполняется в режиме мульти-FOV с использованием множества камер, система камер мобильного терминала может одновременно выводить множество потоков данных различных полей зрения. В качестве примера используем три камеры: одну широкоугольную, одну стандартную и одну длиннофокусную. Синхронизация кадров и синхронизация 3A трех камер обеспечивается системой камер. 3A включает в себя AWB (AWB, Automatic white balance (автоматический баланс белого)), автоматическую экспозицию (AE, Automatic Exposure) и автоматическую фокусировку (AF, Automatic Focus). После того, как пользователь начинает выполнять фотографирование, три камеры могут отдельно собирать данные на основе параметров FOV, установленных тремя камерами, для получения соответствующих потоков данных. Поток данных широкоугольной камеры может соответствовать WData; поток данных стандартной камеры может соответствовать SDdatal; и поток данных длиннофокусной камеры может соответствовать TDdatal. Потоки данных могут быть использованы для генерирования изображений, то есть широкоугольное изображение W1 может быть сгенерировано с использованием потока данных WDatal, стандартное изображение S1 может быть сгенерировано с использованием потока данных SDatal, а широкоугольное изображение T1 может быть сгенерировано с использованием потока данных SDatal TDatal. Кроме того, в процессе сбора данных метаданные, соответствующие каждой камере, могут быть дополнительно получены с использованием системы камер, то есть поток данных WDatal, поток данных SDdatal и поток данных TDatal имеют соответствующие метаданные. Метаданные в основном используются для информации об атрибутах данных и используются для поддержки таких функций, как указание места хранения, исторических данных, поиска ресурсов и файловых записей.

[0093] Кроме того, после получения потока данных WData1, потока данных SDdataK, потока данных TData1 и соответствующих метаданных, операции растяжения и выравнивания могут быть выполнены на изображении W1, изображении S1 и изображении T1 с использованием фокуса как эталон, чтобы получить изображение W2, изображение S2 и изображение T2.

[0094] Кроме того, после получения изображения W2, изображения S2 и изображения T2 могут быть синтезированы три изображения с использованием способов синтеза изображения, показанных на фиг. 7 и фиг. 8, чтобы получить окончательное синтезированное изображение JPEG.

[0095] Следует отметить, что изображение W2, изображение S2 и изображение T2 являются исходными изображениями; то есть изображение W2, изображение S2 и изображение T2 соответствуют изображениям, которые получены с использованием внутренних параметров камер. Например, собственный угол фотографирования широкоугольной камеры составляет 120 градусов, и после того, как пользователь установил FOV, а текущий угол фотографирования равен 100 градусам, изображения, используемые для синтеза, имеют угол фотографирования 100 градусов. Данные синтезированного изображения JPEG привязываются к данным исходного изображения W2, данным исходного изображения S2 и данным исходного изображения T2 и используются для последующей обработки изображения, например, увеличения масштаба или уменьшения масштаба. На Фиг. 9 показан формат, в котором хранится окончательное синтезированное изображение. Данные широкоугольного изображения (W2), данные стандартного изображения (S2) и данные длиннофокусного изображения (T2) ассоциативно связываются с данными синтезированного изображения JPEG. Когда выполняется предварительный просмотр изображения, могут быть вызваны данные изображения JPEG. Когда выполняется увеличение и уменьшение масштаба, могут вызываться ассоциативно связанные данные широкоугольного изображения (W2), данные стандартного изображения (S2) и данные длиннофокусного изображения (T2), чтобы соответствовать требованиям масштабирования и четкости изображения.

[0096] Этап S3: Отображение первого изображения.

[0097] В частности, после того, как все изображения наложены друг на друга, текущее окончательное синтезированное изображение, то есть первое изображение, может быть отображено на экране дисплея. Первое изображение также может храниться в графической библиотеке, чтобы пользователь мог просматривать и выполнять постобработку для получения второго изображения, причем постобработка включает в себя увеличение и уменьшение масштаба.

[0098] В возможной реализации, если изображение синтезируется с использованием способа, показанного на фиг. 9, постобработка может быть выполнена с использованием способов, показанных на фиг. 10 по фиг. 11, а постобработка может включать в себя увеличение и уменьшение масштаба. Пользователь может задать коэффициент увеличения масштаба и коэффициент уменьшения масштаба. Например, коэффициент уменьшения масштаба может находиться в диапазоне от 0,33 до 1, а коэффициент увеличения масштаба может находиться в диапазоне от 1 до 3,33, или коэффициент увеличения масштаба может быть больше 3,33.

[0099] В процессе, в котором пользователь просматривает текущее изображение для предварительного просмотра, если пользователь выполняет операцию масштабирования текущего изображения для предварительного просмотра, в процессор мобильного терминала выдается инструкция по масштабированию изображения, и инструкция включает в себя коэффициент масштабирования. После приема команды масштабирования изображения процессор мобильного терминала может синтезировать исходные изображения на основе коэффициента масштабирования в инструкции так, чтобы сформировать второе изображение и отобразить второе изображение на экране дисплея.

[00100] Следует отметить, что операция масштабирования, выполняемая пользователем на текущем изображении для предварительного просмотра, также может представлять собой непрерывный динамический рабочий процесс до тех пор, пока текущее изображение для предварительного просмотра не будет увеличено до ожидаемого размера изображения. Следовательно, во всем рабочем процессе масштабирования ряд инструкций по масштабированию изображения может непрерывно выдаваться процессору мобильного терминала, и процессор мобильного терминала определяет текущий коэффициент масштабирования на основе принятой в данный момент инструкции масштабирования изображения. Кроме того, коэффициент увеличения масштаба зависит от параметра аппаратной камеры, то есть коэффициент увеличения масштаба имеет определенный диапазон, и бесконечное увеличение и уменьшение масштаба не могут быть выполнены.

[00101] Сценарий уменьшения масштаба изображения описан со ссылкой на фиг. 10. Коэффициент масштабирования, соответствующий данным синтезированного изображения 1010 JPEG, равен 1, коэффициент масштабирования, соответствующий данным широкоугольного изображения 1011, равен 0,3, коэффициент масштабирования, соответствующий данным стандартного изображения 1012, равен 1, и коэффициент масштабирования, соответствующий данным длиннофокусного изображения 1013 равен 4; и все эти четыре изображения имеют разрешение 3000*3000 и коэффициент уменьшения масштаба 0,5.

[00102] Во-первых, данные широкоугольного изображения 1011 подвергаются повышающей дискретизации, и изображение увеличивается в масштабе до 0,5/0,3 раз (то есть 5/3 раз) от исходного размера, чтобы получить широкоугольное изображение 1011a с повышающей дискретизацией, причем разрешение широкоугольного изображения 1011a с повышенной дискретизацией изменяется на 5000×5000. Затем данные стандартного изображения 1012 подвергаются понижающей дискретизации, и изображение уменьшается в масштабе до 1/0,5 раз (то есть 2 раз) от исходного размера, чтобы получить стандартное изображение 1012a с понижающей дискретизацией, причем разрешение стандартного изображения 1012a с понижающей дискретизацией меняется на 1500*1500. Затем данные длиннофокусного изображения 1013 подвергаются понижающей дискретизации, и изображение уменьшают в масштабе до 4/0,5 раз (то есть 8 раз) от исходного размера для получения длиннофокусного изображения 1013a с понижающей дискретизацией, причем разрешение длиннофокусного изображения 1013a с понижающей дискретизацией изменяется на 375*375. Затем широкоугольное изображение 1011a с повышенной дискретизацией, стандартное изображение 1012a с пониженной дискретизацией и длиннофокусное изображение 1013a с пониженной дискретизацией объединяются для получения синтезированного изображения 1020 в уменьшенном масштабе, и отображается синтезированное изображение 1020 в уменьшенном масштабе.

[00103] Следует отметить, что в процессе объединения, поскольку широкоугольное изображение 1011a с повышенной дискретизацией было подвергнуто повышенной дискретизации, и размер изображения изменился, необходимо выполнить кадрирование. В частности, широкоугольное изображение 1011a с повышающей дискретизацией может быть кадрировано для получения широкоугольного изображения 1011b с понижающей дискретизацией с разрешением 3000×3000, а затем стандартное изображение 1012a с понижающей дискретизацией и длиннофокусное изображение 1013a с понижающей дискретизацией последовательно накладываются на широкоугольное изображение 1011b с понижающей дискретизацией так, чтобы получить синтезированное изображение 1020 в уменьшенном масштабе. После кадрирования и наложения размер исходного изображения 1010 не изменяется, и краевая часть исходного изображения 1010 в уменьшенном масштабе может быть заполнена широкоугольным кадрированным изображением 1011b, тем самым расширяя поле зрения. Центральная часть может быть заполнена стандартным изображением 1012a с понижающей дискретизацией и длиннофокусное изображением 1013a с понижающей дискретизацией так, чтобы детали центральной области были более четкими, тем самым удовлетворяя требованиям уменьшения масштаба изображения и большего поля зрения.

[00104] Далее описывается сценарий увеличения изображения в масштабе со ссылкой на фиг. 11. Коэффициент масштабирования, соответствующий синтезированному изображению 1010 в формате JPEG, равен 1, коэффициент масштабирования, соответствующий данным стандартного изображения 1012, равен 1, и коэффициент масштабирования, соответствующий данным длиннофокусного изображения 1013, равен 4; и все эти три изображения имеют разрешение 3000*3000 и коэффициент увеличения масштаба 2.

[00105] Сначала данные стандартного изображения 1012 подвергаются повышающей дискретизации, и размер изображения увеличивается в масштабе в 2/1 раза (то есть в 2 раза) по сравнению с исходным размером для получения стандартного изображения 1012b с повышающей дискретизацией, причем разрешение стандартного изображения 1012b в увеличенном масштабе изменено до 6000*6000. Затем данные длиннофокусного изображения 1013 подвергаются понижающей дискретизации, и размер изображения уменьшается в 2/4 раза (то есть в 2 раза) по сравнению с исходным размером, чтобы получить длиннофокусное изображение 1013b с понижающей дискретизацией, причем разрешение длиннофокусного изображения 1013b с понижающей дискретизацией изменяется до 1500×1500. Затем стандартное изображение 1012b с понижающей дискретизацией и длиннофокусное изображение 1013b с понижающей дискретизацией объединяются для получения синтезированного изображения 1021 в уменьшенном масштабе, и отображается синтезированное изображение 1021 в уменьшенном масштабе.

[00106] Следует отметить, что в процессе слияния, поскольку стандартное изображение 1012b с повышающей дискретизацией было подвергнуто повышающей дискретизации, и размер изображения изменился, необходимо выполнить кадрирование. В частности, стандартное изображение 1012b с повышающей дискретизацией может быть кадрировано для получения стандартного кадрированного изображения 1012c с разрешением 3000×3000, а затем длиннофокусное изображение 1013b с понижающей дискретизацией накладывается на стандартное кадрированное изображение 1012c так, чтобы получить синтезированное изображение 1021 в увеличенном масштабе. После кадрирования и наложения размер исходного изображения 1010 не изменяется, а центральная часть может быть заполнена длиннофокусным изображением 1013b с понижающей дискретизацией, так что детали центральной области становятся более четкими, тем самым удовлетворяя требованиям изображения в увеличенном масштабе и предотвращения искажения изображения.

[00107] В возможной реализации данные широкоугольного изображения 1011 могут быть дополнительно увеличены в масштабе. Например, в описанном выше способе увеличения масштаба, данные широкоугольного изображения 1012 могут быть сначала увеличены в масштабе посредством повышающей дискретизации, и кадрирование выполняется на основе размера исходного изображения так, чтобы получить изображение в увеличенном масштабе, и отображается изображение в увеличенном масштабе.

[00108] Фиг. 12 представляет собой схематическое представление системной архитектуры 1200 мобильного терминала в соответствии с вариантом осуществления данной заявки. Архитектура системы используется для реализации способа, предусмотренного в предыдущем варианте осуществления способа.

[00109] Приложение (APP, Application) камеры 1210 сконфигурировано для получения инструкции по выбору FOV или инструкции по фотографированию, которую вводит пользователь.

[00110] Центр 1220 управления выполнен с возможностью: обнаруживать текущую инструкцию, введенную пользователем; и если текущая инструкция, введенная пользователем, является инструкцией по выбору FOV, отправлять режим комбинирования FOV, выбранный пользователем, в процессор сигналов изображения (ISP, процессор сигналов изображения) 1230, или если текущая инструкция, введенная пользователем, представляет собой инструкцию по фотографированию, запрашивать режим целевой экспозиции из центра 1240 обработки.

[00111] Центр 1240 обработки сконфигурирован для отправки параметра целевой экспозиции в центр 1220 управления на основании запроса центра 1220 управления, причем параметр целевой экспозиции включает в себя фокус, время экспозиции и чувствительность.

[00112] Центр 1220 управления дополнительно сконфигурирован для того, чтобы: после приема параметра целевой экспозиции отправлять параметр целевой экспозиции в процессор 1230 сигналов изображения и инструктировать процессор 1230 сигналов изображения захватить множество изображений на основе комбинированного режима FOV и параметра целевой экспозиции.

[00113] В возможной реализации центр 1220 управления может быть, например, операционной системой мобильного терминала.

[00114] В возможной реализации центр обработки 1240 может быть, например, модулем фоновой обработки, соответствующим камере.

[00115] Процессор 1230 сигналов изображения сконфигурирован для управления камерой 1250 для захвата множества изображений на основе режима комбинирования FOV и параметра целевой экспозиции и отправки множества захваченных изображений в центр 1240 обработки.

[00116] Центр 1220 управления дополнительно сконфигурирован для отправки множества захваченных изображений, полученных от процессора 1230 сигналов изображения, в центр 1040 обработки.

[00117] Процессор 1230 сигналов изображения дополнительно сконфигурирован для ассоциативного связывания каждого захваченного изображения с соответствующим режимом FOV или ассоциативного связывания каждого захваченного изображения с соответствующей камерой.

[00118] Центр 1240 обработки дополнительно сконфигурирован для отправки блоку 1260 кодирования изображения захваченных изображений, отправленных из центра 1220 управления или процессора 1230 сигналов изображения.

[00119] Центр 1240 обработки дополнительно сконфигурирован для определения текущего режима фотографирования и инструктирования экрана 1270 дисплея отображать текущий режим фотографирования.

[00120] Процессорный центр 1240 дополнительно сконфигурирован для инструктирования экрана 1270 дисплея отображать текущий рабочий интерфейс на основе текущей инструкции пользователя.

[00121] Блок 1260 кодирования изображения сконфигурирован для того, чтобы: после кодирования захваченного изображения, отправленного из центра 1240 обработки, отправлять захваченное изображение на экран 1270 дисплея и сохранять закодированное изображение в графической библиотеке 1280.

[00122] В возможной реализации модуль 1260 кодирования изображения дополнительно сконфигурирован для: сохранения исходного захваченного изображения и ассоциативного связывания исходного захваченного изображения с закодированным изображением.

[00123] Экран 1270 дисплея сконфигурирован для отображения пользователю закодированного изображения, отправленного блоком 1260 кодирования изображения.

[00124] Экран 1270 дисплея дополнительно сконфигурирован для отображения пользователю текущего режима фотографирования.

[00125] Экран 1270 дисплея дополнительно сконфигурирован для отображения текущего рабочего интерфейса для пользователя на основе инструкции пользователя.

[00126] Центр 1240 обработки дополнительно сконфигурирован для: выполнения обработки синтеза полученного множества захваченных изображений для получения первого изображения, отправки первого изображения в модуль 1260 кодирования изображения, отображения первого изображения на экране 1270 дисплея и сохранения первого изображения в графической библиотеке 1280.

[00127] В возможной реализации библиотека 1280 дополнительно сконфигурирована для приема инструкции по редактированию изображения от пользователя и инструктирования, на основе инструкции по редактированию изображения, блока 1260 кодирования изображения синтезировать исходные захваченные изображения, хранящиеся в блоке 1260 кодирования изображения.

[00128] Блок 1260 кодирования изображения дополнительно сконфигурирован для синтеза сохраненных исходных захваченных изображений на основе команды графической библиотеки 1280 так, чтобы получить второе изображение, и инструктировать экран 1270 дисплея отобразить второе изображение после завершения синтеза.

[00129] Понятно, что взаимосвязь интерфейсного соединения между модулями, проиллюстрированная в этом варианте осуществления настоящего изобретения, является просто примером для описания и не является ограничением структуры мобильного терминала 100. В некоторых других вариантах осуществления данной заявки мобильный терминал 100 альтернативно может использовать режим интерфейсного соединения, который отличается от режимов в предшествующих вариантах осуществления, или использовать комбинацию множества режимов интерфейсного соединения.

[00130] Понятно, что для реализации вышеизложенных функций вышеописанный терминал и т.п. включают в себя соответствующие аппаратные конструкции и/или программные модули для выполнения функций. Специалисту в данной области техники должно быть легко понятно, что со ссылкой на блоки и этапы алгоритма, описанные в вариантах осуществления, раскрытых в этом описании, варианты осуществления этого приложения могут быть реализованы в виде аппаратных средств или аппаратных средств и компьютерного программного обеспечения. Выполняется ли функция аппаратным обеспечением или аппаратным обеспечением, управляемым компьютерным программным обеспечением, зависит от конкретных приложений и конструктивных ограничений технических решений. Специалист в данной области техники может использовать разные способы реализации описанных функций для каждого конкретного приложения, но не следует считать, что реализация выходит за рамки вариантов осуществления настоящего изобретения.

[00131] В вариантах осуществления данной заявки вышеуказанный терминал и т.п. могут быть разделены на функциональные модули на основе приведенных выше примеров способов. Например, каждый функциональный модуль может быть получен путем разделения на соответствующую функцию, или две или более функции могут быть интегрированы в один модуль обработки. Интегрированные модули могут быть реализованы в виде аппаратных средств или могут быть реализованы в виде функционального модуля программного обеспечения. Следует отметить, что модульное разделение в вариантах осуществления настоящего изобретения является примером и представляет собой просто логическое функциональное разделение. В реальной реализации может быть другой способ разделения.

[00132] Приведенные выше описания вариантов реализации позволяют специалисту в данной области техники ясно понять, что в целях удобного и краткого описания разделение вышеприведенных функциональных модулей используется только в качестве примера для иллюстрации. В реальном применении вышеупомянутые функции могут быть распределены по различным функциональным модулям и реализованы в соответствии с потребностями, то есть внутренняя конструкция аппарата разделена на различные функциональные модули для реализации всех или некоторых функций, описанных выше. Для конкретных рабочих процессов системы, аппарата и блоков, описанных выше, можно сделать ссылку на соответствующие процессы в вышеупомянутых вариантах осуществления способа. Подробности здесь повторно не приводятся.

[00133] Функциональные блоки в вариантах осуществления этой заявки могут быть интегрированы в один процессорный блок, или каждый из блоков может физически существовать сам по себе, или два или более блоков могут быть объединены в один блок. Интегрированный блок может быть реализован в виде аппаратных средств или может быть реализован в виде функционального блока программного обеспечения.

[00134] Когда интегрированный блок реализован в форме программного функционального блока и продан или используется в качестве независимого продукта, интегрированный блок может храниться на машиночитаемом носителе. Исходя из такого понимания, техническое решение данного варианта осуществления данной заявки, являющееся существенным или частью, способствующей существующей технологии, или все техническое решение или его часть, может быть реализовано в виде программного продукта, а компьютерный программный продукт хранится на носителе данных и включает в себя несколько инструкций, позволяющих компьютерному устройству (которым может быть персональный компьютер, сервер или сетевое устройство) или процессору 130 выполнять все или некоторые этапы способа в соответствии с каждым вариантом осуществления настоящей заявки. Вышеупомянутый носитель данных включает в себя: любой носитель, на котором может храниться программный код, такой как флэш-память, съемный жесткий диск, постоянное запоминающее устройство, оперативное запоминающее устройство, магнитный диск или оптический диск.

[00135] Вышеприведенное описание представляет собой лишь конкретные реализации данной заявки, но оно не предназначено для ограничения объема охраны данной заявки. Любое изменение или замена, выполненная в пределах технической области, раскрытой в этой заявке, должна подпадать под область защиты этой заявки. Следовательно, объем охраны настоящей заявки должен соответствовать объему охраны формулы изобретения.

1. Способ обработки изображений, причем способ применяется к мобильному терминалу, на мобильном терминале расположена по меньшей мере одна камера, и способ содержит этапы, на которых:

обнаруживают первую операцию, используемую для выбора режима фотографирования;

определяют текущий режим фотографирования в ответ на обнаруженную первую операцию;

отображают интерфейс дисплея, используемый для выбора поля зрения, при этом интерфейс дисплея содержит опцию поля зрения, соответствующего по меньшей мере одной камере; и

обнаруживают вторую операцию, используемую для выбора опций по меньшей мере двух полей зрения;

определяют по меньшей мере два поля зрения, соответствующие текущему режиму фотографирования, в ответ на обнаруженную вторую операцию, при этом по меньшей мере два поля зрения соответствуют одной или более камерам;

обнаруживают третью операцию, используемую для фотографирования;

получают множество изображений, соответствующих по меньшей мере двум полям зрения, в ответ на обнаруженную третью операцию, при этом каждое из по меньшей мере двух полей зрения соответствует по меньшей мере одному изображению; и при этом множество изображений имеет одинаковые параметры экспозиции; и

синтезируют множество изображений для формирования первого изображения и отображают первое изображение.

2. Способ по п. 1, в котором, перед обнаружением первой операции, используемой для выбора режима фотографирования, способ дополнительно содержит этап, на котором: запускают первую камеру и отображают интерфейс предварительного просмотра фотографирования, захваченный первой камерой; причем

отображаемый интерфейс дисплея, используемый для выбора поля зрения, содержит только поле зрения, соответствующее первой камере; или

отображаемый интерфейс дисплея, используемый для выбора поля зрения, содержит только поле зрения, соответствующее первой камере, и поле зрения, соответствующее другой камере на той же стороне мобильного терминала, что и первая камера; или

на отображаемом интерфейсе дисплея, используемом для выбора поля зрения, опция поля зрения, соответствующего первой камере, отображается заметным образом; или

на отображаемом интерфейсе дисплея, используемом для выбора поля зрения, поля зрения, соответствующие одной и той же камере, отображаются одинаковым образом; или

на отображаемом интерфейсе дисплея, используемом для выбора поля зрения, поля зрения, соответствующие камерам на одной и той же стороне мобильного терминала, отображаются одинаковым образом; или

на отображаемом интерфейсе дисплея, используемом для выбора поля зрения, рекомендуемая комбинация полей зрения отображается заметным образом.

3. Способ по п. 2, в котором, после запуска первой камеры и отображения интерфейса предварительного просмотра фотографирования, захваченного первой камерой, способ дополнительно содержит этапы, на которых:

обнаруживают четвертую операцию, используемую для переключения камеры; и

запускают вторую камеру в ответ на обнаруженную четвертую операцию и отображают интерфейс предварительного просмотра фотографирования, захваченный второй камерой; и

отображаемый интерфейс дисплея, используемый для выбора поля зрения, содержит только поле зрения, соответствующее второй камере; или

отображаемый интерфейс дисплея, используемый для выбора поля зрения, содержит только поле зрения, соответствующее второй камере, и поле зрения, соответствующее другой камере на той же стороне мобильного терминала, что и вторая камера; или

на отображаемом интерфейсе дисплея, используемом для выбора поля зрения, опция поля зрения, соответствующего второй камере, отображается заметным образом; или

на отображаемом интерфейсе дисплея, используемом для выбора поля зрения, поля зрения, соответствующие одной и той же второй камере, отображаются таким же образом; или

на отображаемом интерфейсе дисплея, используемом для выбора поля зрения, поля зрения, соответствующие камерам на одной и той же стороне мобильного терминала, отображаются одинаковым образом; или

на отображаемом интерфейсе дисплея, используемом для выбора поля зрения, рекомендуемая комбинация полей зрения отображается заметным образом.

4. Способ по п. 1, в котором синтез множества изображений содержит этап, на котором: сортируют множество изображений по полю зрения и последовательно накладывают каждое изображение.

5. Способ по п. 4, в котором последовательное наложение каждого изображения содержит этапы, на которых:

последовательно получают в порядке убывания полей зрения коэффициент S поля зрения каждого изображения для изображения Fmin, соответствующего наименьшему полю зрения;

сохраняют изображение Fmin, соответствующее наименьшему полю зрения, неизменным и последовательно увеличивают масштаб оставшихся изображений на основе соответствующего коэффициента S поля зрения для получения увеличенного изображения; и

последовательно накладывают изображение Fmin и все изображения в увеличенном масштабе в порядке возрастания полей зрения.

6. Способ по п. 4, в котором последовательное наложение каждого изображения содержит этапы, на которых:

последовательно получают, в порядке убывания полей зрения, коэффициент S поля зрения изображения Fmax, соответствующего наибольшему полю зрения для каждого изображения;

сохраняют изображение Fmax, соответствующее наибольшему полю зрения, неизменным и последовательно увеличивают масштаб оставшихся изображений на основе соответствующего коэффициента S поля зрения для получения изображения в уменьшенном масштабе; и

последовательно накладывают изображение Fmax и все изображения в уменьшенном масштабе в порядке возрастания полей зрения.

7. Способ по п. 1, в котором получение множества изображений, соответствующих по меньшей мере двум полям зрения, содержит этап, на котором: если по меньшей мере два поля зрения соответствуют множеству камер, сохраняют исходное захваченное изображение, соответствующее каждой камере; и

синтез множества изображений содержит этап, на котором: синтезируют исходное захваченное изображение, соответствующее каждой камере, и ассоциативно связывают синтезированное изображение с исходным захваченным изображением, соответствующим каждой камере.

8. Способ по п. 7, в котором, после отображения синтезированного изображения, способ дополнительно содержит этапы, на которых:

обнаруживают пятую операцию, используемую для масштабирования;

определяют текущий режим масштабирования и текущий коэффициент масштабирования в ответ на обнаруженную пятую операцию, при этом режим масштабирования включает в себя первый режим масштабирования и второй режим масштабирования; и

если текущий режим масштабирования является первым режимом масштабирования, получают все исходные захваченные изображения, соответствующие синтезированному изображению, масштабируют исходные изображения на основе текущего коэффициента масштабирования для формирования второго изображения и отображают второе изображение; или

если текущий режим масштабирования является вторым режимом масштабирования, получают максимум два исходных захваченных изображения, соответствующие синтезированному изображению, масштабируют исходные изображения на основе текущего коэффициента масштабирования для формирования второго изображения и отображают второе изображение.

9. Способ по любому из пп. 1-8, в котором количество по меньшей мере одной камеры - это M, количество множества изображений - это N, M равно N, и множество изображений захватываются одновременно посредством по меньшей мере одной камеры.

10. Способ по любому из пп. 1-8, в котором количество по меньшей мере одной камеры - это один, количество множества изображений - это N, N больше 1, множество изображений захватываются посредством по меньшей мере одной камеры в разные моменты времени, и интервал съемки между двумя изображениями во множестве изображений меньше, чем предварительно установленное пороговое значение времени.

11. Мобильный терминал, содержащий процессор и память, причем память соединена с процессором, память сконфигурирована для хранения кодов компьютерной программы, коды компьютерной программы содержат компьютерные инструкции, и когда компьютерные инструкции выполняются, мобильный терминал побуждается выполнять этапы по любому из пп. 1-8.

12. Машиночитаемый носитель данных, содержащий компьютерные инструкции, при этом, когда компьютерные инструкции выполняются на мобильном терминале, мобильный терминал выполняет способ обработки изображения по любому из пп. 1-8.



 

Похожие патенты:

Изобретение относится к способам и устройствам обработки видеосигнала. Техническим результатом является повышение эффективности кодирования/декодирования изображений.

Изобретение относится к технологии кодирования изображений, а более конкретно к кодированию информации относительно набора ядер преобразования. Техническим результатом является повышение эффективности сжатия изображений/видео.

Изобретение относится к способу и устройству обработки видеосигнала. Техническим результатом является эффективное выполнение межкадрового предсказания в отношении целевого блока кодирования/декодирования при кодировании/декодировании видеосигнала.

Изобретение относится к области обработки видеосигналов стандарта высокоэффективного кодирования видео (HEVC). Техническим результатом является выполнение эффективности преобразования видеосигнала пространственной области в сигнал частотной области наряду с технологией предсказания с большей точностью.

Изобретение относится к средствам для кодирования и декодирования изображений. Технический результат заключается в повышении эффективности кодирования изображений за счет обеспечения гибкого механизма разбиения на тайлы для поддержки изображения с множеством разрешений.

Изобретение относится к средствам для кодирования видеосигнала. Технический результат заключается в повышении эффективности кодирования остаточных блоков.

Изобретение относится к области кодирования облака точек. Технический результат заключается в обеспечении возможности сжатия облака точек без потерь.

Изобретение относится к кодированию и декодированию видео, а более конкретно к передаче межслойного предсказания в битовом потоке видео. Технический результат заключается в повышении эффективности кодирования/декодирования видео.

Изобретение относится к области техники воспроизведения всенаправленного медиа. Технический результат заключается в предоставлении механизма для разрешения циклического воспроизведения точки обзора и обеспечении информации о циклическом воспроизведении точки обзора.

Изобретение относится к панорамному телевизионному наблюдению, которое выполняется компьютерной системой при помощи телевизионной камеры, обеспечивающей круговой обзор одновременно или последовательно в четырех шаровых слоях окружающей сферической области пространства. При этом для каждого из этих шаровых слоев телевизионный контроль ситуации в реальном масштабе времени осуществляется в пространственном угле 360 градусов по азимуту и десятки градусов по углу места.

Изобретение относится к бортовой многопозиционной технике и может быть использовано в системах комплексной цифровой обработки локационной информации. Техническим результатом изобретения является получение комплексного локационного изображения земной поверхности, а также повышение точности и помехозащищенности получаемого комплексного изображения земной поверхности в режиме реального времени.
Наверх