Устройство обработки изображения и способ обработки изображения

Изобретение относится к технологии обработки изображений для увеличения/уменьшения изображения, воспроизводимого на дисплее, или для перемещения изображения вверх, вниз, влево или вправо. Техническим результатом является обеспечение эффективного манипулирования воспроизводимого на дисплее изображения, поддерживая при этом качество информации. Когда одна страница газетной статьи или журнала выводится на дисплей с использованием иерархических данных 380, для каждой статьи в файле определения сценария определяется заранее назначенная область 392 (показана линией 386 в иерархических данных 380). В слое ниже, т.е. в слое, имеющем уровень разрешения, который позволяет различать знаки, определяются несколько заранее назначенных областей 394, 396 (показаны линиями 388, 390 соответственно) так, что зритель может просматривать статью от начала до конца. Изображение, выведенное на дисплей в самом начале, направляется в заранее назначенную область 392 по требованию пользователя на увеличение (стрелка F). При наличии требования на дальнейшее увеличение выведенное на дисплей изображение направляется к заранее назначенной области 394 на заголовке статьи (стрелка G). Когда пользователь, прочитавший предложение в заранее назначенной области 394, выдает информацию, указывая направление или нажимая определенную кнопку, выведенное на дисплей изображение направляется к заранее назначенной области 396 (стрелка Н), показывая продолжение предложения. 12 н. и 27 з.п. ф-лы, 26 ил.

 

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение относится к технологии обработки изображений для увеличения/уменьшения изображения, воспроизводимого на дисплее, или для перемещения изображения вверх, вниз, влево или вправо.

ИЗВЕСТНЫЙ УРОВЕНЬ ТЕХНИКИ

В настоящее время предложены различные бытовые развлекательные системы, которые могут воспроизводить движущиеся изображения, а также исполнять игровые программы. В бытовых развлекательных системах графический процессор генерирует трехмерные изображения, используя для этого многоугольники (см., например, патентный документ №1).

При этом предложены технологии, позволяющие увеличивать/уменьшать воспроизводимые на дисплее изображения или передвигать эти изображения вверх, вниз, влево или вправо, используя мозаичные изображения самых различных уровней разрешения, генерируемые из цифровых изображений, таких, например, как фотографии высокой четкости. В этой технологии обработки изображений размер исходного изображения уменьшается несколько раз и генерируются изображения различных уровней разрешения, что позволяет представить исходное изображение в виде иерархической структуры, в которой изображение каждого слоя иерархии разделено на одно или несколько мозаичных изображений. Обычно изображение с наименьшим уровнем разрешения содержит одно мозаичное изображение, а исходное изображение, имеющее самый высокий уровень разрешения, содержит наибольшее число мозаичных изображений. Устройство обработки изображений обеспечивает эффективное увеличение или уменьшение воспроизводимого на дисплее изображения таким образом, что увеличенное или уменьшенное изображение эффективно представляется переключением используемого в текущий момент мозаичного изображения в мозаичное изображение некоторого другого иерархического слоя.

ИЗЛОЖЕНИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

ПРОБЛЕМЫ, КОТОРЫЕ ДОЛЖНЫ БЫТЬ РЕШЕНЫ ИЗОБРЕТЕНИЕМ

В настоящее время создаются мобильные терминалы с дисплейными экранами, имеющими все большие размеры. Тем самым становится возможным отображать на таких экранах изображения высокой четкости безотносительно к типу устройства обработки информации. Поэтому пользователи могут все более легко получать доступ к различным типам привлекательного для глаз контента. Однако по мере того, как информация, которая должна воспроизводиться на экране, становится все более сложной и высокоуровневой, возникает потребность в новых, самых разнообразных подходах к использованию преимуществ этой информации. Поэтому качество информации и легкость работы с ней часто находятся в противоречивых отношениях. Создание сложного, содержащего изображения контента требует дополнительных специальных знаний.

Настоящее изобретение решает упомянутые выше проблемы и имеет целью предоставление технологии, позволяющей легко воспроизводить на дисплее желаемую информацию, поддерживая при этом качество информации.

СРЕДСТВА РЕШЕНИЯ ЭТИХ ПРОБЛЕМ

Одна из особенностей настоящего изобретения относится к устройству обработки изображений. Это устройство обработки изображений предназначено для вывода на дисплей по меньшей мере части изображения и отличается тем, что содержит: запоминающее устройство, хранящее иерархические данные, образованные данными изображений, которые являются представлениями одного и того же изображения с различными уровнями разрешения и которые иерархически организованы в порядке уровней разрешения; память, хранящую файл определения сценария, который назначает область в этих иерархических данных в виртуальном пространстве, определенном плоскостью изображения и осью уровней разрешения; блок получения входной информации, принимающий от пользователя входные данные требования, которые относятся к изменению выведенного на дисплей изображения; и блок обработки выведенного на дисплей изображения, направляющий выведенное на дисплей изображение в область, которая указана в упомянутом файле определения сценария, когда от пользователя будут получены заранее заданные входные данные требования.

Другая особенность осуществления настоящего изобретения относится к способу обработки изображения. Этот способ обработки изображения используется для вывода на дисплей по меньшей мере части изображения и отличается тем, что содержит: этап считывания данных изображения из запоминающего устройства и рендеринга изображения на дисплее; этап получения от пользователя требования на перемещение выведенного на дисплей изображения, которое может быть требованием на увеличение, уменьшение или параллельный перенос выведенной на дисплей области в изображении, выведенного в текущий момент времени; и этап направления выведенного на дисплей изображения в область и с уровнем разрешения, заранее заданными в памяти, в соответствии с требованием на перемещение выведенного на дисплей изображения.

Еще одна особенность осуществления настоящего изобретения относится к устройству обработки изображений. Это устройство обработки изображений предназначено для вывода на дисплей по меньшей мере части изображения и отличается тем, что содержит: запоминающее устройство, хранящее иерархические данные, которые являются представлениями одного и того же изображения с различными уровнями разрешения и которые иерархически организованы в порядке разрешения; память, хранящую файл определения связей, который устанавливает соответствие между собой определенных областей внутри различных наборов иерархических данных в виртуальном пространстве, определенном плоскостью изображения и осью уровней разрешения; блок получения входной информации, принимающий от пользователя входные данные требования, которые относятся к перемещению выведенного на дисплей изображения; и блок обработки выведенного на дисплей изображения, который направляет выведенное на дисплей изображение в область, указанную в файле определения связей, когда от пользователя получены заранее заданные входные данные требования.

Еще одна особенность осуществления настоящего изобретения относится к способу обработки изображения. Этот способ обработки изображений используется при выводе на дисплей по меньшей мере части изображения и отличается тем, что включает в себя: этап считывания данных изображения из запоминающего устройства и рендеринга изображения на дисплее; этап получения от пользователя требования на перемещение выведенного на дисплей изображения, которое может быть требованием на увеличение, уменьшение или параллельный перенос области в изображении, выведенном на дисплей в текущий момент времени; и этап переключения области отображения на заранее заданную область другого изображения, которой предварительно поставлена в соответствие область в выведенном в текущий момент времени изображении, когда выведенное на дисплей изображение достигнет области и уровня разрешения, заранее заданных в памяти.

Еще одна особенность осуществления настоящего изобретения относится к структуре данных контента. Структура данных контента отличается тем, что определяет между собой соответствие: файла определения связей, который используется для осуществления переключения между иерархическими данными во время вывода на дисплей изображения и отображения друг на друга заранее заданных областей в нескольких наборах иерархических данных, содержащих данные изображения, которые являются представлениями одного и того же изображения с различными уровнями разрешения и которые иерархически организованы в порядке уровней разрешения в виртуальном пространстве, определенном плоскостью изображения и осью уровней разрешения; нескольких наборов иерархических данных, для которых определено соответствие в упомянутом файле определения связей; и атрибутивной информации для управления использованием этих иерархических данных.

Еще одна особенность осуществления настоящего изобретения относится к устройству обработки изображений. Устройство обработки изображений предназначено для вывода на дисплей по меньшей мере части изображения и отличается тем, что содержит: запоминающее устройство, хранящее иерархические данные, образованные данными изображений, которые являются представлениями одного и того же изображения с различными уровнями разрешения и которые иерархически организованы в порядке разрешения; память, хранящую файл определения связей, который определяет соответствие между по меньшей мере двумя наборами иерархических данных и наряду с этими определяет условия переключения выведенного на дисплей изображения между упомянутыми иерархическими данными; блок оценки связей, который при обращении к файлу определения связей выносит суждение о выполнении или невыполнении условия переключения выведенного на дисплей изображения во время вывода на дисплей изображения любого набора иерархических данных; и блок обработки выведенного на дисплей изображения, который переключает выведенное изображение на изображение другого набора иерархических данных, которому поставлен в соответствие этот набор иерархических данных, выведенный в текущий момент, в случае, если блоком оценки связей вынесено суждение о выполнении условия переключения.

Еще одна особенность осуществления настоящего изобретения относится к способу обработки изображений. Способ обработки изображений предназначен для вывода на дисплей по меньшей мере части изображения и отличается тем, что содержит: этап считывания из запоминающего устройства нескольких наборов данных изображений, в качестве объектов обработки, между которыми предварительно установлено соответствие в памяти; этап вывода на дисплей по меньшей мере одного из упомянутых многих наборов данных изображений; этап получения от пользователя требования на перемещение выведенного на дисплей изображения, которое может быть требованием на увеличение, уменьшение или параллельный перенос выведенной на дисплей области в изображении, выведенном в текущий момент времени; и этап переключения вывода на данные другого изображения, для которых предварительно установлено соответствие данным изображения, выведенного на дисплей в текущий момент времени, когда выведенное на дисплей изображение удовлетворяет требованиям, заранее заданным в памяти.

Еще одна особенность осуществления настоящего изобретения относится к устройству обработки информации. Устройство обработки информации отличается тем, что содержит: блок получения входной информации, который обеспечивает получение от пользователя входных данных требования по выбору нескольких отдельных изображений, блок регистрации определяющей информации, генерирующий данные индексного изображения, в котором расположены в заранее заданном формате выбранные несколько отдельных изображений; при этом каждое из нескольких отдельных изображений представляет собой иерархическую структуру данных, содержащую данные изображения с различными уровнями разрешения и иерархически организованную в порядке уровней разрешения; а блок регистрации определяющей информации определяет соответствие между областью в индексном изображении, в которой расположено отдельное изображение, и иерархическими данными отдельного изображения, расположенного в этой области, генерирует файл определения связей для осуществления переключения данных, используемых при рендеринге выводимого на дисплей изображения, от индексного изображения на отдельное изображение, и выдает сгенерированный файл определения связей в память.

Еще одна особенность осуществления настоящего изобретения относится к способу обработки информации. Способ обработки информации отличается тем, что содержит: этап получения входной информации, на котором принимаются от пользователя входные данные требования по выбору нескольких отдельных изображений, этап генерации данных индексного изображения, содержащего несколько выбранных отдельных изображений, считанных из запоминающего устройства, в котором считываемые изображения расположены в заранее заданном формате, и передачи сгенерированных данных в память; при этом каждое из нескольких отдельных изображений представляет собой иерархическую структуру данных, содержащую данные изображений с различными уровнями разрешения и иерархически организованную в порядке уровней разрешения; а на этапе генерации и передачи данных определяется соответствие между областями, в которых расположены отдельные изображения в индексном изображении, и иерархическими данными отдельных изображений, расположенных в этой области, а также генерируется и выдается файл определения связей для осуществления переключения данных, используемых при рендеринге выводимого на дисплей изображения, из индексного изображения на отдельные изображения.

Еще одна особенность осуществления настоящего изобретения относится к структуре данных контента. Структура данных контента предназначена для установления соответствия между: данными нескольких отдельных изображений, каждое из которых имеет иерархическую структуру данных, построенную из иерархически организованных данных изображений с различным уровнем разрешения и в порядке уровней разрешения; данными индексного изображения, в котором расположены эти отдельные изображения в заранее заданном формате; и файлом определения связей для установления соответствия между областями, в которых расположены отдельные изображения в индексном изображении, и иерархическими данными отдельных изображений, расположенных в этих областях, и для осуществления переключения данных, используемых при рендеринге выводимых на дисплей изображений, из индексного изображения на отдельные изображения.

Еще одна особенность осуществления настоящего изобретения относится к устройству обработки информации. Это устройство обработки информации используется в устройстве обработки изображений, которое обеспечивает считывание и вывод на дисплей иерархических данных, образованных данными изображений, которые являются представлениями одного и того же изображения с различными уровнями разрешения и иерархически организованными в порядке уровней разрешения, и которое генерирует файл определения связей, к которому происходит обращение для переключения выведенного на дисплей изображения между заранее заданными областями в различных наборах иерархических данных; при этом устройство обработки информации отличается тем, что содержит: запоминающее устройство, которое хранит упомянутые иерархические данные; блок вывода на дисплей заданного изображения, который считывает из упомянутого запоминающего устройства упомянутые иерархические данные в соответствии с входными данными требования пользователя по выбору изображения и выводит их на дисплей; и блок регистрации определяющей информации, который получает от пользователя входные данные требования по выбору областей в изображениях нескольких наборов иерархических данных, выведенных на дисплей упомянутым блоком вывода на дисплей заданного изображения, и генерирует файл определения связей идентификацией координат этих выбранных областей в виртуальном пространстве, определенном плоскостью изображения и осью уровней разрешения, и в соответствии с отображениями областей друг на друга.

Упомянутый блок регистрации определяющей информации в этом устройстве обработки информации имеет также ту особенность, что может получать от пользователя входные данные требования по выбору нескольких областей, определенных в нескольких наборах иерархических данных, между которыми установлено соответствие друг на друга упомянутым файлом определения связей, и создавать файл определения сценария, указывающий порядок переключения выведенного на дисплей изображения между несколькими областями в нескольких наборах иерархических данных, идентификацией и регистрацией координат нескольких выбранных областей в упомянутом виртуальном пространстве.

Упомянутый блок регистрации определяющей информации в этом устройстве обработки информации имеет также ту особенность, что может осуществлять согласование образов между изображениями областей, выбранных пользователем в различных наборах иерархических данных, регулировать координаты областей в упомянутом виртуальном пространстве каждой области и на основе этого устанавливать соответствие между связями так, что объекты на соответствующих изображениях выводятся на дисплей в одном и том же месте.

Область в иерархических данных, определенная в упомянутом файле определения связей в этом устройстве обработки информации, имеет также ту особенность, что является прямоугольником, имеющим заранее заданное отношение длины к высоте.

Упомянутый блок регистрации определяющей информации в этом устройстве обработки информации имеет также ту особенность, что для каждой группы областей, для которых определено соответствие между собой, может получать от пользователя входное требование с условиями проверки переключения выведенного на дисплей изображения, зависящее от того, было ли первоначально выведенное на дисплей изображение изменено в направлении увеличения или уменьшения, и зарегистрировать это условие в файле определения связей.

Устройство обработки информации имеет также ту особенность, что может генерировать файл, в котором содержатся упомянутые иерархические данные или информация, относящаяся к областям памяти, хранящим упомянутые иерархические данные, упомянутый файл определения связей и упомянутый файл определения сценария.

Упомянутый блок вывода на дисплей заданного изображения в этом устройстве обработки информации имеет также ту особенность, что может выводить изображения на дисплей, обращаясь к сгенерированному упомянутому файлу определения связей и переключая выведенное на дисплей изображение в заранее заданных областях упомянутых иерархических данных, для которых определено соответствие в упомянутом файле определения связей.

Упомянутый блок регистрации определяющей информации в этом устройстве обработки информации имеет также ту особенность, что может передавать сгенерированный упомянутый файл определения связей на устройство обработки изображений, подсоединенное через сеть, и корректировать упомянутый файл определения связей в соответствии с ответной информацией, переданной от этого устройства обработки изображений.

Еще одна особенность осуществления настоящего изобретения относится к устройству обработки информации. Это устройство обработки информации используется в устройстве обработки изображений, которое обеспечивает считывание и вывод на дисплей иерархических данных, образованных данными изображений, являющихся представлениями одного и того же изображения с различными уровнями разрешения и иерархически организованными в порядке уровней разрешения, и которое генерирует файл определения сценария, к которому происходит обращение для переключения выведенного на дисплей изображения между заранее заданными областями в различных наборах иерархических данных; при этом устройство обработки информации отличается тем, что содержит: запоминающее устройство, которое хранит упомянутые иерархические данные; блок вывода на дисплей заданного изображения, который считывает из упомянутого запоминающего устройства упомянутые иерархические данные в соответствии с входными данными требования пользователя по выбору изображения и выводит их на дисплей; и блок регистрации определяющей информации, который получает от пользователя входные данные требования по выбору областей в изображениях нескольких наборов иерархических данных, выведенных на дисплей упомянутым блоком вывода на дисплей заданного изображения, и генерирует файл определения сценария идентификацией координат этих выбранных областей в виртуальном пространстве, определенном плоскостью изображения и осью уровней разрешения.

Упомянутый блок регистрации определяющей информации в этом устройстве обработки информации имеет также ту особенность, что может получать от пользователя информацию, относящуюся к способу вывода области на дисплей, определять соответствие между каждой областью, выбранной пользователем в упомянутом файле определения сценария, и информацией, относящейся к способу вывода области на дисплей, и записывать информацию об этом соответствии в упомянутом файле определения сценария.

Устройство обработки информации имеет также ту особенность, что может генерировать файл, в котором содержатся упомянутые иерархические данные или информация, относящаяся к области памяти, хранящей упомянутые иерархические данные, и упомянутый файл определения сценария.

Упомянутый блок вывода на дисплей заданного изображения в этом устройстве обработки информации имеет также ту особенность, что может переключать выведенное на дисплей изображение по нескольким записанным областям, обратившись для этого к сгенерированному упомянутому файлу определения сценария.

Упомянутый блок регистрации определяющей информации в этом устройстве обработки информации имеет также ту особенность, что может передавать сгенерированный упомянутый файл определения сценария на устройство обработки изображений, подсоединенное через сеть, и корректировать упомянутый файл определения сценария, базируясь на ответной информации, переданной от этого устройства обработки информации.

В этом устройстве обработки информации имеется также та особенность, что в упомянутый файл, хранимый в этом устройстве, может быть включена атрибутивная информация, которая управляет воспроизведением иерархических данных.

Еще одна особенность осуществления настоящего изобретения относится к способу обработки информации. Этот способ обработки информации используется в устройстве обработки изображений, обеспечивающем считывание и вывод на дисплей иерархических данных, образованных данными изображений, которые являются представлениями одного и того же изображения с различными уровнями разрешения и иерархически организованными в порядке уровней разрешения, и которое генерирует файл определения связей, к которому происходит обращение для переключения выведенного на дисплей изображения между заранее заданными областями в различных наборах иерархических данных; при этом способ обработки информации отличается тем, что содержит: этап считывания из упомянутого запоминающего устройства упомянутых иерархических данных и вывода их на дисплей, базируясь на входных данных требования пользователя по выбору изображения; этап получения от пользователя входных данных требования по выбору областей в изображениях нескольких наборов выведенных на дисплей иерархических данных; и этап выдачи упомянутого файла определения связей в память идентификацией координат упомянутых выбранных областей в виртуальном пространстве, определенном плоскостью изображения и осью уровней разрешения, и в соответствии с отображением областей друг на друга.

Еще одна особенность осуществления настоящего изобретения относится к компьютерной программе. Эта компьютерная программа используется в устройстве обработки изображений, считывающем и выводящем на дисплей иерархические данные, образованные данными изображений, которые являются представлениями одного и того же изображения с различными уровнями разрешения и которые иерархически организованы в порядке уровней разрешения, и которая обеспечивает исполнение компьютером задачи создания файла определения связей, к которому происходит обращение для переключения выведенного на дисплей изображения между заранее заданными областями в различных наборах иерархических данных, при этом компьютерная программа содержит: функцию считывания из упомянутого запоминающего устройства упомянутых иерархических данных и вывода их на дисплей, базируясь на входных данных требования пользователя по выбору изображения; функцию получения от пользователя входных данных требования по выбору областей в изображениях нескольких наборов выведенных на дисплей иерархических данных; и функцию выдачи упомянутого файла определения связей в память идентификацией координат упомянутых выбранных областей в виртуальном пространстве, определенном плоскостью изображения и осью уровней разрешения, и в соответствии с отображением областей друг на друга.

Еще одна особенность осуществления настоящего изобретения относится к носителю записи с записанной на нем компьютерной программой. Этот носитель записи используется в устройстве обработки изображений, считывающем и выводящем на дисплей иерархические данные, образованные данными изображений, которые являются представлениями одного и того же изображения с различными уровнями разрешения и которые иерархически организованы в порядке уровней разрешения, и хранит компьютерную программу, которая обеспечивает исполнение компьютером задачи генерации файла определения связей, к которому происходит обращение для переключения выведенного на дисплей изображения между заранее заданными областями в различных наборах иерархических данных, при этом компьютерная программа содержит: функцию считывания из упомянутого запоминающего устройства упомянутых иерархических данных и вывода их на дисплей, базируясь на входных данных требования пользователя по выбору изображения; функцию получения от пользователя входных данных требования по выбору областей в изображениях нескольких наборов выведенных на дисплей иерархических данных; и функцию выдачи упомянутого файла определения связей в память идентификацией координат упомянутых выбранных областей в виртуальном пространстве, определенном плоскостью изображения и осью уровней разрешения, и в соответствии с отображениями областей друг на друга.

Еще одна особенность осуществления настоящего изобретения относится к устройству обработки изображений. Устройство обработки изображений предназначено для вывода на дисплей по меньшей мере части изображения и содержит: запоминающее устройство, хранящее иерархические данные, образованные данными изображений, которые являются представлениями одного и того же изображения с различными уровнями разрешения и которые иерархически организованы в порядке уровней разрешения; память, хранящую файл определения сценария, определяющий информацию, относящуюся к нескольким областям в иерархических данных в виртуальном пространстве, определенном плоскостью изображения и осью уровней разрешения, а также определяющий информацию, относящуюся к способу вывода на дисплей упомянутых областей; и блок обработки выведенного на дисплей изображения, который обращается к упомянутому файлу определения сценария и непрерывно выводит на дисплей несколько областей в соответствии с определенным способом переключения между областями.

Упомянутая память в этом устройстве обработки информации имеет также ту особенность, что может хранить файл определения связей, который устанавливает соответствие между заранее заданными областями внутри различных наборов иерархических данных в упомянутом виртуальном пространстве, упомянутый файл определения сценария может назначать несколько областей из нескольких наборов иерархических данных, для которых установлено соответствие упомянутым файлом определения связей, и когда выведенное на дисплей изображение входит внутрь определенного диапазона области, которая определена в иерархических данных, выведенных на дисплей в текущий момент времени, и которая указана в упомянутом файле определения связей, блок обработки выведенного на дисплей изображения может переключать выведенное на дисплей изображение на другую область иерархических данных, для которой было определено соответствие этой области.

Иерархические данные, которые хранит упомянутое запоминающее устройство в этом устройстве обработки информации, имеют также ту особенность, что к ним присоединяется атрибутивная информация для управления выводом на дисплей этих иерархических данных, а упомянутое устройство вывода на дисплей изображения может считывать упомянутую атрибутивную информацию заданных иерархических данных, когда происходит переключение выведенного изображения, и обеспечивает изменение режима вывода на дисплей, базируясь на этой информации и в соответствии с заранее заданным правилом.

Еще одна особенность осуществления настоящего изобретения относится к способу обработки изображений. Способ обработки изображений используется для вывода на дисплей по меньшей мере части изображения и содержит: этап считывания из памяти файла определения сценария, определяющего информацию, которая относится к нескольким областям в упомянутых иерархических данных в виртуальном пространстве, определенном плоскостью изображения и осью уровней разрешения, а также определяющей информации, относящейся к способу вывода на дисплей этих областей, при этом иерархические данные содержат данные изображения, которые являются представлениями одного и того же изображения при различных уровнях разрешения и которые иерархически организованы в порядке разрешения; и этап обращения к упомянутому файлу определения сценария и непрерывного вывода на дисплей упомянутых нескольких областей в соответствии с определенным способом переключения между областями.

Еще одна особенность осуществления настоящего изобретения относится к компьютерной программе. Компьютерная программа обеспечивает исполнение компьютером задачи вывода на дисплей по меньшей мере части изображения и содержит: функцию считывания из памяти файла определения сценария, определяющего информацию, которая относится к нескольким областям в упомянутых иерархических данных в виртуальном пространстве, определенном плоскостью изображения и осью уровней разрешения, а также определяющей информации, относящейся к способу вывода на дисплей этих областей, при этом иерархические данные содержат данные изображения, которые являются представлениями одного и того же изображения при различных уровнях разрешения и которые иерархически организованы в порядке разрешения; и функцию обращения к упомянутому файлу определения сценария и непрерывного вывода на дисплей упомянутых нескольких областей в соответствии с определенным способом переключения между областями.

Еще одна особенность осуществления настоящего изобретения относится к носителю записи с записанной на нем компьютерной программой. Этот носитель записи хранит компьютерную программу, которая обеспечивает исполнение компьютером задачи вывода на дисплей по меньшей мере части изображения и содержит: функцию считывания из памяти файла определения сценария, определяющего информацию, которая относится к нескольким областям в упомянутых иерархических данных в виртуальном пространстве, определенном плоскостью изображения и осью уровней разрешения, а также определяющей информации, относящейся к способу вывода на дисплей этих областей, при этом иерархические данные содержат данные изображения, которые являются представлениями одного и того же изображения при различных уровнях разрешения и которые иерархически организованы в порядке разрешения; и функцию обращения к упомянутому файлу определения сценария и непрерывного вывода на дисплей упомянутых нескольких областей в соответствии с определенным способом переключения между областями.

Еще одна особенность осуществления настоящего изобретения относится к структуре данных контента. Эта структура данных используется для определения соответствия между собой следующих компонентов: иерархических данных, содержащих данные изображения, которые являются представлениями одного и того же изображения с различными уровнями разрешения и которые иерархически организованы в порядке уровней разрешения; файла определения сценария, который определяет информацию, относящуюся к нескольким областям в упомянутых иерархических данных, в виртуальном пространстве, определенном плоскостью изображения и уровнями разрешения, а также который определяет информацию, относящуюся к способу вывода на дисплей упомянутых областей и используемую для непрерывного вывода на дисплей упомянутых нескольких переключаемых областей; и атрибутивной информации, которая управляет рендерингом этих иерархических данных.

В упомянутом файле определения сценария в этой структуре данных определяются области внутри нескольких упомянутых наборов иерархических данных; и упомянутая структура данных имеет ту особенность, что определяет соответствие между собой нескольких наборов иерархических данных определенных объектов и атрибутивной информации, которая управляет рендерингом каждого набора иерархических данных.

В этой структуре данных имеется также та особенность, что контенту, который непрерывно выводится на дисплей упомянутым файлом определения сценария, ставится в соответствие атрибутивная информация, которая управляет рендерингом этого контента.

Еще одна особенность осуществления настоящего изобретения относится к носителю записи, на котором записана структура данных контента. На этом носителе записи записана упомянутая выше структура данных.

Произвольные комбинации описанных выше составляющих компонентов и реализации настоящего изобретения в форме способов, аппаратур, систем, носителей записи и компьютерных программ могут быть также введены в практику как дополнительные варианты настоящего изобретения.

ПРЕИМУЩЕСТВА НАСТОЯЩЕГО ИЗОБРЕТЕНИЯ

В соответствии с настоящим изобретением информация может быть выведена на дисплей с использованием простой операции, даже если эта информация является высокоорганизованной.

КРАТКОЕ ОПИСАНИЕ ФИГУР ЧЕРТЕЖЕЙ

Фиг.1 показывает среду, в которой используется система обработки изображений в соответствии с настоящим примером осуществлением изобретения;

Фиг.2 показывает внешний вид устройства ввода, которое может быть использовано в системе обработки изображений на Фиг.1;

Фиг.3 показывает иерархическую структуру данных изображения, используемую в настоящем примере осуществления изобретения;

Фиг.4 показывает конфигурацию устройства обработки изображений в соответствии с настоящим примером осуществления изобретения;

Фиг.5 - показывает процесс предвыборки в соответствии с настоящим примером осуществления изобретения;

Фиг.6 схематически показывает поток данных изображений в соответствии с настоящим примером осуществления изобретения;

Фиг.7 схематически показывает соотношение между несколькими наборами иерархических данных, используемых для вывода на дисплей, в соответствии с настоящим примером осуществления изобретения;

Фиг.8 иллюстрирует вывод на дисплей изображений, когда установлена связь между наборами иерархических данных, в соответствии с настоящим примером осуществления изобретения;

Фиг.9 показывает детальную конфигурацию блока управления в соответствии с настоящим примером осуществления изобретения;

Фиг.10 показывает соотношение между эталонным кадром и изображением в соответствии с настоящим примером осуществления изобретения;

Фиг.11 разъясняет определение кадра для случая, когда эталонный кадр параллельно перемещается, в соответствии с настоящим примером осуществления изобретения;

Фиг.12 разъясняет определение кадра для случая, когда эталонный кадр параллельно не перемещается, а только изменяется коэффициент увеличения, в соответствии с настоящим примером осуществления изобретения;

Фиг.13 показывает определение кадра, когда эталонный кадр параллельно не перемещается, а поворачивается, в соответствии с настоящим примером осуществления изобретения;

Фиг.14 показывает пример структуры данных файла определения связей в соответствии с настоящим примером осуществления изобретения;

Фиг.15 схематически показывает точки, которые должны бы быть загружены, когда устанавливается связь между двумя наборами иерархических данных, в соответствии с настоящим примером осуществления изобретения;

Фиг.16 разъясняет процедуру преобразования координат XY из изображения в начальном адресе связи в изображение на назначенном адресе этой связи в соответствии с настоящим примером осуществления изобретения;

Фиг.17 разъясняет процедуру преобразования координаты Z в изображении в начальном адресе связи в изображение на назначенном адресе этой связи в соответствии с настоящим примером осуществления изобретения;

Фиг.18 показывает пример изображения, в котором определена область связей, в соответствии с настоящим примером осуществления изобретения;

Фиг.19 показывает сущность того, как выведенное на дисплей изображение направляется внутри заданного набора иерархических данных, параллельно перемещаясь между различными слоями, в соответствии с настоящим примером осуществления изобретения;

Фиг.20 показывает сущность того, как перемещается выведенное на дисплей изображение в случае, когда его направление в другую область в одном и том же иерархическом слое комбинируется с направлением к другому иерархическому слою, в соответствии с настоящим примером осуществления изобретения;

Фиг.21 - блок-схема, показывающая поток исполняемых этапов, когда в файле определения сценария в соответствии с настоящим примером осуществления изобретения более подробно описывается процесс управления переходом между изображениями;

Фиг.22 схематически показывает пример режима распределения данных при реализации настоящего примера осуществления изобретения;

Фиг.23 показывает конфигурацию устройства обработки изображений, имеющего функцию поддержки создания контента, в соответствии с настоящим примером осуществления изобретения;

Фиг.24 объясняет пример процедуры обработки при получении определения области направления, а также создания и обновления файла определения сценария, в соответствии с настоящим примером осуществления;

Фиг.25 объясняет пример процедуры обработки при получении определения области связей, а также создания и обновления файла определения связей в соответствии с настоящим примером осуществления изобретения; и

Фиг.26 объясняет сущность обработки при получении требования выбора нескольких изображений и создания индексного изображения, которое позволяет выбирать из нескольких изображений, исходя из связей, определенных между изображениями.

НАИЛУЧШИЙ РЕЖИМ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

На Фиг.1 показана одна область применения системы обработки изображений 1 в соответствии с примером осуществления настоящего изобретения. Система обработки изображений 1 содержит устройство обработки изображений 10, предназначенное для исполнения программы обработки изображений, и дисплейное устройство 12, предназначенное для вывода результата обработки устройством обработки изображений 10. Дисплейное устройство 12 может быть телевизионным приемником, снабженным экраном для вывода изображения и громкоговорителем для вывода звука. Дисплейное устройство 12 может быть подсоединено к устройству обработки изображений 10 кабелем или подсоединено беспроводно с использованием, например, беспроводной LAN (локальной сети). Устройство обработки изображений 10 в системе обработки изображений 1 может быть подсоединено к внешней сети, такой как Интернет, через кабель 14 и может получать и загружать иерархически организованные данные сжатых изображений. Устройство обработки изображений 10 может быть подсоединено к внешней сети беспроводно.

Устройство обработки изображений может быть игровым устройством, таким что реализация функций обработки изображений достигается загрузкой прикладных программ обработки изображений. Устройство обработки изображений 10 может быть персональным компьютером, таким что реализация функций обработки изображений достигается загрузкой прикладных программ обработки изображений.

Устройство обработки изображений 10 увеличивает/уменьшает изображение, выводимое на дисплей дисплейного устройства 12, или перемещает изображение вверх, вниз, влево или вправо в соответствии с требованием пользователя. Эти процессы будут в в совокупности именоваться в дальнейшем как "процесс перемещения выведенного на дисплей изображения". Когда пользователь манипулирует устройством ввода, смотря при этом на изображение, выведенное на дисплей, устройство ввода передает на устройство обработки изображений 10 сигнал требования на перемещение выведенного на дисплей изображения.

На Фиг.2 показан внешний вид устройства ввода 20. Устройство ввода 20 содержит переключатели направления 21, аналоговые джойстики 27а, 27b и четыре управляющие кнопки 26, являющиеся теми средствами, которыми манипулирует пользователь. В состав четырех кнопок 26 входят круглая кнопка 22, крестообразная кнопка 23, квадратная кнопка 24 и треугольная кнопка 25.

Средствам управления пользователя устройства ввода 20 в системе обработки информации 1 назначены функции ввода требования на увеличение/уменьшение выведенного на дисплей изображения и ввода требования на прокрутку изображения вверх, вниз, влево или вправо. Например, функция ввода требования на увеличение/уменьшение выведенного на дисплей изображения может быть назначена правому аналоговому джойстику 27b. Пользователь может вводить требование на уменьшение выведенного на дисплей изображения вытягиванием на себя аналогового джойстика 27b и может вводить требование на увеличение выведенного на дисплей изображения нажатием на джойстик от себя. Функция ввода требования на перемещение области вывода изображения может быть назначена переключателям направления 21. Нажатием на переключатели направления 21 пользователь может вводить требование на перемещение в направлении, в котором нажат переключатель направления 21. Далее функция ввода требования на перемещение выведенного на дисплей изображения может быть назначена на любое другое средство управления пользователя. Например, функция ввода требования на прокрутку изображения может быть назначена на аналоговый джойстик 27а.

Устройство ввода 20 имеет функцию передачи на устройство обработки изображений 10 входного сигнала требования на перемещение выведенного на дисплей изображения. В этом примере осуществления изобретения устройство ввода 20 сконфигурировано так, что оно позволяет беспроводно обмениваться сообщениями с устройством обработки изображений 10. Устройство ввода 20 и устройство обработки изображений 10 могут устанавливать связь между собой, используя протокол Bluetooth (зарегистрированный товарный знак) или протокол IEEE802.11. Устройство ввода 20 может быть подсоединено к устройству обработки изображений 10 через кабель, с тем чтобы передавать на устройство обработки изображений 10 сигнал требования на соответствующее перемещение выведенного на дисплей изображения.

На Фиг.3 показана иерархическая структура данных изображения, используемая в этом примере осуществления изобретения. Данные изображения имеют иерархическую структуру, содержащую в направлении глубины (Z ось) нулевой иерархический слой 30, первый иерархический слой 32, второй иерархический слой 34 и третий иерархический слой 36. Хотя здесь показаны только четыре слоя, число слоев может быть неограниченным. В дальнейшем данные изображения, имеющие такую иерархическую структуру, будут именоваться как "иерархические данные изображения".

Иерархические данные изображения, показанные на Фиг.3, имеют иерархическую структуру квадрадерева. Каждый иерархический слой содержит одно или более мозаичных изображений 38. Все мозаичные изображения 38 образованы так, что они имеют одинаковый размер и содержат одно и то же число пикселей. Например, изображение содержит 256×256 пикселей. Данные изображения в соответствующих иерархических слоях являются представлениями одного и того же изображения при различных уровнях разрешения. Исходное изображение в третьем иерархическом слое 36, имеющее наибольший уровень разрешения, уменьшается за несколько этапов и формирует в результате второй иерархический слой 34, первый иерархический слой 32 и нулевой иерархический слой 30. Например, разрешение в N-м слое (N является целым, равным или большим 0) может составлять ½ разрешения (N+1)-го слоя как в горизонтальном (ось X) направлении, так и в вертикальном (ось Y) направлении.

Иерархические данные изображения сжаты в заранее заданном формате сжатия, хранятся в запоминающем устройстве, считываются из запоминающего устройства и декодируются перед тем, как они выводятся на дисплей. Устройство обработки изображений 10 в соответствии с настоящим примером осуществления изобретения имеет функцию декодирования, совместимую с различными форматами сжатия. Например, это устройство может декодировать данные, сжатые в формате S3TC, формате JPEG, формате JPEG2000. Сжатие может быть выполнено для каждого мозаичного изображения. В другом варианте совокупность мозаичных изображений, содержащихся в том же самом слое или в совокупности слоев, может быть сжата по времени.

Как показано на Фиг.3, иерархическая структура иерархических слоев данных сконфигурирована так, что горизонтальное направление определяется вдоль оси X, вертикальное направление определяется по оси Y, а направление в глубину определяется по оси Z, образуя тем самым виртуальное трехмерное пространство. При определении величины перемещения выведенного на дисплей изображения обращением к сигналу, поступающего от устройства ввода 20 и запрашивающего перемещение изображения, устройство обработки изображений 10 использует заданную величину перемещения для вывода координат по четырем углам кадра (координаты кадра) в виртуальном пространстве. Выведенные в виртуальном пространстве координаты кадра используются для генерации выводимого на дисплей изображения. Вместо координат кадра в виртуальном пространстве устройство обработки изображений 10 может выводить информацию, идентифицирующую иерархический слой и координаты текстуры (координаты UV) в этом иерархическом слое. В дальнейшем комбинация информации, идентифицирующей слой, и координат текстуры будет также именоваться как координаты кадра.

На Фиг.4 показана конфигурация устройства обработки изображений 10.

Устройство обработки изображений 10 содержит радиоинтерфейс 40, переключатель 42, блок управления выводом на дисплей 44, дисковод жесткого диска 50, блок загрузки носителя записи 52, привод диска 54, оперативную память 60, буферную память 70 и блок управления 100. Блок управления выводом на дисплей 44 содержит кадровую память для буферизации данных, которые должны воспроизводиться на дисплейном устройстве 12.

Переключатель 42 является переключателем Ethernet'a (Ethernet - зарегистрированная торговая марка), устройством, которое подсоединено к внешнему устройству кабелем или беспроводно так, что оно передает и принимает данные. Переключатель 42 может быть подсоединен к внешней сети кабелем 14 так, что он получает иерархически организованные сжатые данные изображения от сервера изображений. Переключатель 42 подсоединен к радиоинтерфейсу 40. Радиоинтерфейс 40 подсоединен к устройству ввода 20 с использованием заранее заданного протокола беспроводной передачи данных. От устройства ввода 20 на блок управления 100 через радиоинтерфейс 40 и переключатель 42 передается сигнал требования на перемещение выведенного на дисплей изображения, являющийся входным сигналом пользователя.

Дисковод жесткого диска 50 функционирует как запоминающее устройство для хранения данных. Сжатые данные изображения, полученные через переключатель 42, хранятся на дисководе жесткого диска 50. Если устанавливается сменный носитель записи, такой как карта памяти, то блок загрузки носителя записи 52 считывает данные из сменного носителя записи. Если устанавливается жесткий диск ПЗУ, то привод диска 54 распознает диск ПЗУ и считывает данные. Диск ПЗУ может быть оптическим диском или магнитооптическим диском. Сжатые данные изображения могут быть записаны также и на этих носителях записи.

Блок управления 100 содержит многоядерный ЦП. В одном ЦП имеется одно универсальное процессорное ядро и несколько простых процессорных ядер. Универсальное процессорное ядро именуется здесь мощным процессором (PPU), а другие процессорные ядра именуются здесь синергетическими процессорами (SPU).

Блок управления 100 содержит контроллер памяти, подсоединенный к оперативной памяти 60 и буферной памяти 70. PPU имеет регистр и центральный процессор, как исполняющее устройство. PPU эффективно распределяет задачи на соответствующие SPU, как базовые единицы обработки прикладной задачи. PPU может и сам исполнять задачу. SPU имеет регистр, подпроцессор, как исполняющее устройство, и локальную память, являющуюся локальной областью хранения данных. Локальная память может использоваться как буферная память 70.

Оперативная память 60 и буферная память 70 являются запоминающими устройствами и организованы как запоминающие устройства с произвольной выборкой (RAM). SPU имеет специализированный контролер прямого доступа к памяти (DMA) и обеспечивает высокоскоростную передачу данных между оперативной памятью 60 и буферной памятью 70. Высокоскоростная передача данных обеспечивается также между кадровой памятью в блоке управления выводом на дисплей 44 и буферной памятью 70. Блок управления 100 в соответствии с настоящим примером осуществления реализует высокоскоростную обработку изображений за счет параллельной работы нескольких SPU. Блок управления выводом на дисплей 44 подсоединен к дисплейному устройству 12 и выдает результат обработки изображения в соответствии с требованием пользователя.

Устройство обработки изображений 10 в соответствии с настоящим примером осуществления предназначено для загрузки части сжатых данных изображения, которые идентифицированы описанным далее правилом, из дисковода жесткого диска 50 в оперативную память 60 для гладкого изменения выведенного на дисплей изображения, когда выведенное на дисплей изображение увеличивается/уменьшается или перемещается область вывода изображения. Кроме того, устройство обработки изображений 10 предназначено для предсказания изображения, которое должно быть выведено на дисплей в дальнейшем, базируясь на данных требования пользователя на перемещение выведенного на дисплей изображения, декодирования части сжатых данных изображения, загруженной в оперативную память 60, и хранения декодированных данных в буферной памяти 70. Это обеспечивает мгновенное переключение изображений, используемых для создания выводимого на дисплей изображения, когда переключение требуется позднее. В последующем этот процесс предсказания мозаичного изображения, выводимого на дисплей в последующем, и хранения мозаичного изображения в буферной памяти 70 будет именоваться как "процесс предвыборки".

На Фиг.5 объясняется процесс предвыборки. Фиг.5 показывает иерархическую структуру данных, где слои этой структуры представлены соответственно как L0 (нулевой слой), L1 (первый слой), L2 (второй слой) и L3 (третий слой). В иерархической структуре данных, показанной на Фиг.5, положение в направлении глубины (ось Z) показывает уровень разрешения изображения. Чем ближе положение к слою L0, тем уровень разрешения будет ниже, и чем ближе положение к слою L3, тем уровень разрешения будет выше. В терминах размера изображения, выведенного на дисплей, положение в направлении глубины представляет собой масштаб изображения. Принимая, что масштаб выведенного на дисплей изображения в слое L3 есть 1, масштаб в L2 будет равным ¼, масштаб в L1 будет равным 1/16, а масштаб в L0 будет равным 1/64.

Следовательно, когда кадр изменяется в направлении глубины со стороны от L0 по направлению к L3, то выводимое на дисплей изображение увеличивается, а когда этот кадр изменяется в направлении глубины со стороны от L3 по направлению к L0, то выведенное на дисплей изображение уменьшается. Стрелка 80 показывает, что сигнал требования от пользователя на перемещение изображения является требованием на уменьшение выводимого на дисплей изображения, и показывает, что коэффициент уменьшения масштаба составляет ¼ (L2). В устройстве обработки изображений 10 в соответствии с настоящим примером осуществления положения L1, L2 по направлению вглубь, которые могут использоваться для размещения мозаичных изображений 38, определяются как границы предвыборки в направлении глубины, и когда сигнал требования на перемещение изображения предписывает пересечение границы предвыборки, начинается исполнение процесса предвыборки.

Когда масштаб выведенного на дисплей изображения близок к L2, то выведенное изображение генерируется использованием мозаичного изображения в L2 (второй слой). Более конкретно, изображение слоя L2 используется тогда, когда масштаб выводимого на дисплей изображения находится между границей переключения 82 и границей переключения 84, при этом граница 82 находится между изображением в слое L1 и изображением в слое L2, а граница 84 находится между изображением в слое L2 и изображением в слое L3. Следовательно, при поступлении требования на уменьшение изображения, как это показано стрелкой 80, увеличенная версия этого изображения в слое L2 преобразуется в уменьшенную версию и выводится на дисплей. Устройство обработки изображений 10 может задерживать генерацию выводимого на дисплей изображения, запрашиваемого сигналом требования на перемещение изображения, вычисляя свертку сигнала требования на перемещение изображения из устройства ввода 20 и передаточной функции; в этот же период устройство обработки изображений 10 идентифицирует также мозаичное изображение 38, которое, как ожидается, будет необходимо в будущем, базируясь на сигнале запроса на перемещение изображения, и предварительно выбирает идентифицированное мозаичное изображение 38 из оперативной памяти. Когда в примере, показанном на Фиг.5, масштаб уменьшения изображения, который запрашивается сигналом требования на перемещение изображения, выходит на пределы уровня L2, устройство обработки изображений 10 считывает из оперативной памяти 60 мозаичное изображение 38, соответствующее слою L1, который расположен в направлении уменьшения изображения, декодирует считанное изображение и записывает это декодированное изображение в буферную память 70.

Выше был описан процесс предвыборки в направлении глубины. Предвыборка в направлении верх, вниз, влево или вправо в одном и том же слое исполняется подобным же образом. Более конкретно, граница предвыборки задается в данных изображения, хранящихся в буферной памяти 70, таким образом, что, когда положение выведенного на дисплей изображения, определенное сигналом требования на перемещение изображения, выходит за границы предвыборки, начинается исполнение процесса предвыборки.

На Фиг.6 схематически показан поток данных изображения в соответствии с настоящим примером осуществления изобретения. Сначала иерархические данные хранятся на дисководе жесткого диска 50. Вместо дисковода жесткого диска 50 данные могут храниться на носителе записи, установленном на блоке загрузки носителя записи 52 или приводе диска 54. В альтернативном варианте устройство обработки изображений 10 может загружать иерархические данные из сервера изображений, подсоединенного к устройству обработки изображений 10 через сеть. Как было описано выше, иерархические данные сжимаются в формате с фиксированной длиной, таком как S3TC, или в формате с переменной длиной, таком как JPEG.

Часть данных изображений из этих иерархических данных загружается в оперативную память 60 с сохранением сжатого состояния (S10). Область, которая должна быть загружена, определяется в соответствии с заранее заданным правилом. Например, такое правило может базироваться на окрестности в области виртуального пространства выведенного в текущий момент изображения, содержимом изображения или области, для которой предсказывается, что она будет наиболее часто запрашиваться для вывода на дисплей, или истории браузинга пользователя. Данные загружаются не только тогда, когда возникает требование на изменение изображения, но также, например, и через заранее заданные интервалы времени. Тем самым можно предотвратить возможность концентрации процесса загрузки в небольших интервалах времени.

Сжатые данные изображения загружаются единицами блоков, которые имеют в основном регулярный размер. По этой причине иерархические данные, которые хранятся на дисководе жесткого диска 50, разделены на блоки в соответствии с заранее заданным правилом. Таким образом, обеспечивается эффективность управления данными в оперативной памяти 60. А именно, даже если сжатые данные изображений будут сжаты в формате переменной длины, загружаемые данные будут иметь приблизительно одинаковый размер, поскольку изображение загружается единицами блоков (в последующем называемых "блоками изображений"). Поэтому новая операция загрузки выполняется в основном переписыванием одного из блоков, уже хранящегося в оперативной памяти 60. Таким образом, возникновение фрагментации маловероятно, память можно использовать эффективно и потому управление адресацией также становится легким.

Затем из всех сжатых данных изображений, хранимых в оперативной памяти 60, декодируются и записываются в буферной памяти 70 данные изображений области, которая должна быть выведена на дисплей, или данные изображения области, которая будет необходима в соответствии с предсказанием (S12). Буферная память 70 содержит по меньшей мере две буферные области 72 и 74. Размер буферных областей 72 и 74 выбирается таким, чтобы быть больше, чем размер памяти кадров 90; тем самым в случае, когда сигнал требования на перемещение изображения от устройства ввода 20 запрашивает изменение в той или иной степени, данные изображения, загруженные в буферные области 72 и 74, являются достаточными для формирования выводимого на дисплей изображения.

Одна из буферных областей 72 и 74 является буфером дисплея, используемым для хранения изображения при формировании выводимого на дисплей изображения, а другая - является буфером декодирования, используемым для подготовки изображения, которое в соответствии с предсказанием будет необходимо в последующем. В примере, показанном на Фиг.6, буферная область 72 является буфером дисплея, буферная область 74 является буфером декодирования, а область 68 выводится на дисплей. Изображение, хранящееся в буфере декодирования в процессе предвыборки, может быть изображением того же самого слоя, что и изображение, хранящееся в буфере дисплея, или изображением другого слоя и с другим масштабом.

Затем из всех изображений, хранящихся в буферной области 72, являющейся буфером дисплея, изображение выводимой на дисплей области 68 передается в память кадров 90 (S14). В это время изображение новой области декодируется в соответствии с требованием пользователя и сохраняется в буферной области 74. Буфер дисплея и буфер декодирования переключаются в соответствии с моментом, когда заканчивается хранение, или величиной перемещения выведенной на дисплей области 68 (S16). Тем самым обеспечивается возможность гладкого переключения выведенных на дисплей изображений в случае перемещения выведенной на дисплей области или изменения масштаба изображений.

Описанный до сих пор процесс относится к режиму, в котором координаты кадра перемещаются в соответствии с требованием пользователя на перемещение изображения в виртуальном пространстве, образованном единственным набором иерархических данных, как это показано на Фиг.5, с тем чтобы параллельно переносить, увеличивать или уменьшать выведенную на дисплей область изображения. Далее в настоящем примере осуществления изобретения используется также несколько наборов иерархических данных для вывода на дисплей и предоставляется возможность перемещения выведенного изображения вперед и назад между наборами иерархических данных. Фиг.7 схематически показывает соотношение между несколькими наборами данных, используемых для вывода изображений на дисплей в соответствии с этим примером осуществления.

Из Фиг.7 два треугольника показывают различные наборы иерархических данных 150 и 152. Каждый из двух наборов иерархических данных 150 и 152 в действительности сконфигурирован так, что различные данные изображений с различными уровнями разрешения расположены по отдельности в направлении оси Z, как это показано на Фиг.3. Как было ранее разъяснено на Фиг.5, когда пользователь выдает требование на увеличение/уменьшение выведенного на дисплей изображения, используя сигнал требования на перемещение изображения, выведенное на дисплей изображение перемещается в направлении оси Z. С другой стороны, выведенное на дисплей изображение перемещается в горизонтальном направлении, когда требование определяет параллельный перенос выведенного на дисплей изображения вверх, вниз, влево или вправо. В настоящем примере осуществления генерируется состояние, в котором два набора иерархических данных 150 и 152, как это показано на Фиг.5, частично пересекаются в таком виртуальном пространстве.

В случае если в подобном состоянии, когда изображение иерархических данных 150 выведено на дисплей, пользователь выдает требование на увеличение, то выведенное на дисплей изображение перемещается, как это показано стрелкой а, и это изображение входит в область иерархических данных 152. Иными словами, выведенное на дисплей изображение перемещается между этими наборами иерархических данных. Введением такого перемещения в виртуальном пространстве в описанные выше этапы воспроизведения иерархических данных изображения из различных наборов иерархических данных могут быть гладко смешаны и соответственно выведены на дисплей. Иерархические данные 150 и 152 могут содержать данные, представляющие один и тот же объект при различных уровнях разрешения. В другом варианте они могут представлять совершенно различные объекты. Например, если дано, что иерархические данные 150 представляют набор данных карты мира, а иерархические данные 152 представляют набор данных карты Японии, то переход от иерархических данных 150 к иерархическим данным 152 будет происходить, когда пользователь будет увеличивать область Японии на карте мира. В результате будет показана подробная карта Японии. В другом варианте, если, например, дано, что иерархические данные 150 представляют данные экранного меню, а иерархические данные 152 представляют данные руководства, которое объясняет пиктограммы, отображенные на экранном меню, требование пользователя на увеличение желаемой пиктограммы на экранном меню переключает воспроизведение на изображение руководства, объясняющего функцию, соответствующую этой пиктограмме.

Таким образом, в соответствии с этим примером осуществления иерархические данные, используемые при рендеринге, переключаются, что инициируется перемещением выведенного на дисплей изображения в виртуальном пространстве, т.е. вводом требования на увеличение, уменьшение или параллельный перенос выведенного на дисплей изображения. Подобное переключение может производиться использованием только одной базовой операции, управляющей изображением, которое выведено на дисплей в текущий момент времени. Это предоставляет пользователю высокоуровневый дружественный интерфейс, который не требует этапов, например, отображения экранного меню для переключения или процедуры выбора из этом меню. Для создания контента, который обеспечивает непрерывное расширение от изображения карты мира к изображению высокого разрешения, содержащему здания или улицы, предложенное изобретение устраняет данные областей (например, область океана), увеличивать которые нет необходимости, используя отдельные иерархические данные в зависимости от требуемого уровня разрешения, и позволяет существенно уменьшать объем данных по сравнению со случаем построения большой единственной иерархической структуры данных. Более того, предложенное изобретение позволяет непрерывно выводить на дисплей совершенно различные изображения и тем самым может быть применено к большому числу представлений изображений и созданию разнообразного контента.

Область в изображении, выведенном на дисплей в текущий момент времени, которая инициирует переключение на другой набор иерархических данных, или разрешение, которое инициирует это переключение, предварительно определяются как "информация связи", показанная линией 154 на Фиг.7. В представленном примере переключение от иерархических данных 150 на иерархические данные 152 происходит в положении, характеризуемом разрешением z1, определенном вдоль оси Z и расположенном на горизонтальной плоскости, которая обозначена линией 154 (см. Фиг.3). В последующем переключение между наборами иерархических данных будет именоваться как "связь".

На Фиг.8 представлен пример того, как изображения выводятся на дисплей, когда устанавливается некоторая связь между наборами иерархических данных. На Фиг.8 показано, что три набора иерархических данных, а именно изображения 156, 158 и 160, являются объектами вывода на дисплей. Здесь будет принято, что устанавливается связь между областью 162 в изображении 156 и областью 163 в изображении 158, а также устанавливается связь между областью 164 в изображении 156 и областью 165 в изображении 160. Такие области будут в дальнейшем именоваться как "области связи".

Область связи соответствует линии 154, показанной на Фиг.7. Когда создается выводимое на дисплей изображение с использованием иерархических данных изображения 156 и когда выведенное на дисплей изображение частично пересекается с областью связи 162 в ответ на требование пользователя на перемещение выведенного на дисплей изображения, иерархические данные, используемые для вывода изображения, переключаются из изображения 156 на изображение 158, так что на дисплей соответственно выводится область связи 163 в изображении 158 (стрелка А).

В примере, показанном на Фиг.8, дисковод жесткого диска 50 хранит иерархические данные изображения 158, показывающего область, центром которой является пятиугольник в изображении 156, но при более высоком уровне разрешения и в форме других иерархических данных. Далее, область связи 162 и область связи 163 определены так, что их видно под одним и тем же углом зрения. В таком случае может быть непрерывно выведено на дисплей изображение при разрешении, более высоком, чем самое большое разрешение, определенное в иерархических данных изображения 156, с использованием иерархических данных изображения 158, выводимого из изображения 156. При этом, как представляется пользователю, переход, который показан стрелкой на Фиг.7, осуществляется просто изменением масштаба пятиугольника, и поэтому пользователю нет необходимости вообще знать о переключении иерархических данных.

Как показано на Фиг.8, между областью связи 162 и областью связи 163 устанавливается также связь, показанная стрелкой В, противоположная по направлению связи, показанной стрелкой А. В этом случае, когда после перехода по стрелке А пользователь увеличивает желаемую область в изображении 158, а затем уменьшает выведенное на дисплей изображение или делает подобную операцию, выведенное изображение будет снова частично пересекаться с областью связи 163, иерархические данные, используемые для вывода изображения, переключаются от изображения 158 на изображение 156 так, что будет соответственно выведена на дисплей область связи 162 в изображении 156 (стрелка В). В этом случае также становится возможным непрерывное уменьшение в изображении 158 простым уменьшением выведенного на дисплей изображения и без необходимости для пользователя быть осведомленным о переключении иерархических данных.

Переход от области связи 164 к области связи 165 (стрелка С) происходит подобным же образом. Когда изображение 156 выводится на дисплей и когда выведенное на дисплей изображение частично пересекается с областью связи 164 зумингом в эллипс, эти иерархические данные переключаются так, что на дисплей выводится область связи 165 в изображении 160. Это дает возможность выводить на дисплей изображение с более высоким уровнем разрешения, чем уровень разрешения изображения 156. Поскольку выведенное изображение может быть определено "частично пересекающимися" областями связей, даже если выведенное изображение строго не совпадает с областью связи, то можно заранее установить правило, которое определяет, что произошло частичное пересечение, например, когда выведенное на дисплей изображение расположено внутри заранее заданного диапазона области связи.

На Фиг.9 показана подробная конфигурация блока управления 100. Блок управления 100 состоит из блока получения входной информации 102, который принимает информацию, вводимую пользователем через устройство ввода 20, блока разделения сжатых данных 104, который разделяет иерархические данные на блоки изображения, блока определения загружаемого блока данных 106, определяющего тот блок изображения, который должен быть заново загружен, и блока загрузки 108, который загружает необходимый блок изображения из дисковода жесткого диска 50. Блок управления 100 содержит также блок обработки предвыборки 110, который исполняет процесс предвыборки, блок определения связей 116 для определения того, будут ли данные, которые должны быть загружены или декодированы, располагаться в иерархических данных в назначенном адресе связи, блок декодирования 112, который декодирует сжатые данные изображения, и блок обработки выводимого на дисплей изображения 114, который обеспечивает рендеринг выводимого на дисплей изображения. Блок управления 100 содержит также блок интерпретации сценария 117, предназначенный для интерпретации информации сценария, заданной в блоке управления, и управления блоком определения связей 116, блоком загрузки 108 и блоком обработки выводимого на дисплей изображения 114.

Элементы, изображенные на Фиг.9, являющиеся функциональными блоками для выполнения различных процессов, реализованы в аппаратных средствах, таких как центральный процессор (ЦП), память или другие БИС, и в программных средствах, таких как программы и пр., загруженных в эту память. Как было описано выше, блок управления 100 содержит один PPU и несколько SPU. Эти PPU и несколько SPU образуют функциональные блоки сами по себе или в комбинации. Поэтому специалистам в данной области техники будет очевидно, что функциональные блоки могут быть реализованы самыми различными способами только аппаратно, только программно или в комбинации аппаратных и программных средств.

Дисковод жесткого диска 50 хранит несколько наборов иерархических данных 101, в которых заданы соответствующие связи. В дополнение к области 120, хранящей блоки изображений, которые загружены из дисковода жесткого диска 50, оперативная память 60 хранит файл определения связей 118. Этот файл определения связей 118 представляет собой файл, в котором записывается информация связей, устанавливаемых между наборами иерархических данных. Файл определения связей, будучи присоединен к массиву иерархических данных 101, может быть загружен из дисковода жесткого диска 59. Описание файла определения сценария 119, хранимого в оперативной памяти 60, будет представлено в дальнейшем.

Блок получения входной информации 102 принимает команду, вводимую пользователем через устройство ввода 20, на запуск/окончание вывода изображения на дисплей, перемещение выведенной области, увеличение или уменьшение выведенного на дисплей изображения и пр. Кроме того, блок получения входной информации 102 может создавать задержку сигнала требования на перемещение изображения в соответствии с заранее заданной максимальной величиной скорости, с которой перемещается выведенное на дисплей изображение, передаточной функцией, которая вычисляется сверткой с сигналом требования на перемещение изображения, и пр. Эта передаточная функция может быть гауссовой функцией. Устройство обработки изображений 10 использует эту задержку для получения гарантированного времени обработки предварительно выбранных данных изображения или времени, необходимого для реконструкции изображения или перемещения изображения по назначенному адресу связи (описано в дальнейшем) или для активизации прикладной задачи. Это позволяет гладко выводить на дисплей изображение в ответ на требование пользователя.

Блок разделения сжатых данных 104 считывает иерархические данные из дисковода жесткого диска 50, генерирует блоки изображения разделением этих данных в соответствии с заранее заданным и описанным в дальнейшем правилом и хранит разделенные данные на дисководе жесткого диска 50. Например, когда пользователь через устройство ввода 20 выбирает один из наборов иерархических данных, хранимых на дисководе жесткого диска 50, блок разделения сжатых данных 104 получает информацию соответственно от блока получения входной информации 102 и начинает процесс разделения данных. В альтернативном варианте дисковод жесткого диска 50 может хранить иерархические данные, которые разделены на блоки изображения непосредственно с самого начала. Если такие иерархические данные используются для вывода на дисплей, то блок разделения сжатых данных 104 может не работать.

Блок определения загружаемого блока данных 106 проверяет, существуют или не существуют блоки изображения, которые должны быть загружены из дисковода жесткого диска 50 в оперативную память 60, и определяет блок изображения, который подлежит загрузке следующим, выдавая требование на загрузку на блок загрузки 108. Во время этого процесса блок определения загружаемого блока данных 106 выдает запрос на блок определения связей 118 и запрашивает, содержит или не содержит блок изображения, который должен быть загружен, блок изображения других иерархических данных по назначенному адресу связи. Блок определения загружаемого блока данных 106 проводит описанную выше верификацию и определение в соответствии с заранее заданным расписанием времени выполнения операций, пока блок загрузки 108 не выполнит процесс загрузки. Например, упомянутые верификация и определение могут быть выполнены, когда истечет заранее заданный период времени или когда пользователь выдает требование на перемещение изображения. Блок загрузки 108 выполняет реальный процесс загрузки в соответствии с требованием от блока определения загружаемого блока данных 106.

Если блок изображения, содержащий назначенную область изображения, не хранится в оперативной памяти 60 при возникновении требования пользователя на перемещение выведенного на дисплей изображения, то необходимо в одном цикле выполнить этапы загрузки блока изображения из дисковода жесткого диска 50, декодирования необходимой области и рендеринга выводимого изображения. Процесс загрузки может в этом случае представлять узкое место, в результате чего время отклика на требование пользователя может стать большим. В этом примере осуществления изобретения для загрузки блоков рассматриваются следующие политики, а именно (1) блоки изображения загружаются так, чтобы полностью покрывать области, которые с высокой вероятностью будут выводиться на дисплей; (2) загрузка происходит на постоянной основе так, что предотвращается концентрация графика процесса загрузки в коротком периоде времени.

Блок обработки предвыборки 110 предсказывает область изображения, которая, как ожидается, потребуется для рендеринга выводимого в дальнейшем на дисплей изображения, в соответствии с координатами кадра, воспроизведенного на дисплее в текущий момент, и информацией, содержащейся в требовании пользователя на перемещение выведенного изображения, и предоставляет результирующую информацию на блок декодирования 112. Однако предсказание не проводится немедленно после того, как изображение начинает выводиться на дисплей или когда назначенное изображение не может быть визуализировано с использованием изображения, хранимого в буферной памяти 70. В этих случаях блок обработки предвыборки 110 предоставляет на блок декодирования 112 информацию об области, которая содержит изображение, необходимое в текущий момент для рендеринга выводимого на дисплей изображения. Блок обработки предвыборки 110 передает требование на блок определения связей 116 для запроса о том, содержится или не содержится в другом наборе иерархических данных по назначенному адресу связи предсказанная область изображения или область изображения, необходимая для рендеринга изображения, выводимого на дисплей в текущий момент времени.

Блок определения связей обращается к файлу определения связей 118, который заранее хранится в оперативной памяти 60, и определяет, содержится ли блок изображения иерархических данных на назначенном адресе связи в блоке изображения, который должен быть загружен в ответ на запрос от блока определения загружаемого блока данных 106. Если на этот вопрос дается положительный ответ, то блок определения связей 116 преобразует координаты точки в отображаемых в текущий момент иерархических данных, которые должны быть загружены, в координаты, определенные в иерархических данных на назначенном адресе связи и возвращает преобразованные координаты в блок определения загружаемого блока данных 106 совместно с предварительно преобразованными координатами и именем файла иерархических данных на назначенном адресе связи. Блок определения связей 116 в ответ на запрос от блока обработки предвыборки 110 определяет также, содержит ли область, необходимая для рендеринга, область в иерархических данных на назначенном адресе связи. Если такая область содержится, то блок определения связей 116 возвращает информацию, относящуюся к координатам области связи на назначенном адресе связи. Пример задания связи будет описан в дальнейшем.

Блок декодирования 112 считывает и декодирует часть сжатых данных изображения из оперативной памяти 60, обращаясь к информации об области изображения, получаемой от блока обработки предвыборки 110, и сохраняет декодированные данные в буфере декодирования или буфере дисплея. Блок обработки выведенного изображения 114 определяет координаты кадра нового выводимого на дисплей изображения в соответствии с требованием пользователя на перемещение выводимого на дисплей изображения, считывает соответствующие данные изображения из буфера дисплея буферной памяти 70 и предоставляет изображение в память кадров 90 блока управления выводом 44. Блок интерпретации сценария 117 интерпретирует файл сценария 119, который хранится в оперативной памяти 60, и осуществляет управление выводом для получения непрерывного перехода в выводимом на дисплей изображении. Подробности этого будут описаны в последующем.

Теперь будет дано описание примера задания связи. На Фиг.10 - Фиг.13 объясняется способ определения области (кадра) внутри изображения. На Фиг.10 показана взаимосвязь между положением изображения и кадра, который принимается за эталон. Из Фиг.10 видно, что эталонный кадр 264 изображения 156 имеет центр, который совпадает с центром изображения 156, и представляет собой прямоугольник, охватывающий изображение 156 и имеющий заранее заданное отношение длины к ширине. Это отношение длины к ширине может иметь заранее заданное значение. Например, отношение длины к ширине может быть идентично отношению сторон дисплея, на который выводится изображение, или отношению длины к ширине области вывода изображения на дисплее. Принимается, что кадр сохраняет это отношение даже тогда, когда выведенное на дисплей изображение увеличивается или уменьшается. Этот кадр определяется с использованием четырех параметров, в число которых входит смещение в горизонтальном направлении, смещение в вертикальном направлении, коэффициент увеличения и угол поворота относительно эталонного кадра. В данном случае эталонный кадр 264 является таким, что (смещение в горизонтальном направлении, смещение в вертикальном направлении, коэффициент увеличения, угол поворота)=(0, 0, 1.0, 0).

На Фиг.11 объясняется, как определяется кадр при параллельном переносе эталонного кадра. В этом случае подставляются значения в параметр смещения в вертикальном направлении и в параметр смещения в горизонтальном направлении. Более конкретно, горизонтальный компонент offset_x и вертикальный компонент offset_y расстояния от центра кадра 272 до центра кадра 270 изображения 156, т.е. центр эталонного кадра, представляют собой соответственно величину смещения в горизонтальном направлении и величину смещения в вертикальном направлении. Поэтому кадр 262 представляется как (offset_x, offset_y, 1.0, 0).

На Фиг.12 показано, как определяется кадр, когда эталонный кадр не подвергается параллельному переносу, а только изменяется его коэффициент увеличения. В этом случае коэффициент увеличения кадра 266 относительно эталонного кадра подставляется в параметр коэффициента увеличения. Если размер кадра 266, показанного на Фиг.12, составляет 0.5 от эталонного кадра, показанного на Фиг.10, то кадр 266 представляется как (0, 0, 0.5, 0).

На Фиг.13 показано, как определяется кадр, когда эталонный кадр не подвергается параллельному переносу, а только поворачивается. В этом случае угол поворота 282 кадра 280 относительно эталонного кадра подставляется в параметр угла поворота. Например, если угол поворота 282 составляет 0.25π, то кадр 280 представляется как (0, 0, 1.0, 0.25). Комбинированием смещений, коэффициентов увеличения и углов поворота, как показано на Фиг.11 - Фиг.13, кадр выводимого на дисплей изображения полностью представляется этими четырьмя параметрами. Такой набор четырех параметров будет в дальнейшем именоваться как "параметры определения кадра".

На Фиг.14 показан пример структуры данных файла определения связей 118. Одна строка файла определения связей 118 соответствует одной связи, т.е. соответствует описанию переключения из некоторого набора иерархических данных на другой набор иерархических данных. Каждая строка образована полями четырех типов, в состав которых входит: поле кадра изображения, в начальном адресе связи 302, поле эффективного диапазона масштабирования 304, поле файла назначения связи 306 и поле кадра изображения в назначенном адресе связи 308. Поле кадра изображения в начальном адресе связи 302 назначает область в выводимом на дисплей изображении, на которую производится переключение наборов иерархических данных, т.е. область связи, в которой используются описанные выше параметры определения кадра. Например, кадр, определенный в иллюстративном примере, соответствует кадру области связи 163 на начальном адресе связи, показанной стрелкой В на Фиг.8.

Поле эффективного диапазона масштабирования 304 назначает диапазон коэффициентов увеличения, в котором действует эта связь. Этот диапазон начинается с коэффициента увеличения, определенного в поле кадра изображения в начальном адресе связи 302. В первой строке на Фиг.14 коэффициент увеличения области связи, указанный в поле кадра изображения в начальном адресе связи 302, составляет "2.0", а величина поля эффективного диапазона масштабирования 304 составляет "98.0". Поэтому эта связь определяется как эффективная и переключение наборов иерархических данных происходит при коэффициенте увеличения выводимого на дисплей изображения, который находится в диапазоне 2.0-100.0.

Например, обратившись к связи, показанной стрелкой В на Фиг.8, становится понятно, что изображение 158 переключается на изображение 156 с трансфокацией на минус выводимого на дисплей изображения, т.е. когда коэффициент увеличения кадра начинает возрастать, в то время как кадр, меньший, чем область связей 163 в изображении 158, выводится на дисплей до тех пор, пока этот кадр не совместится с областью связи 163. Поэтому в поле эффективного диапазона масштабирования 304 определяется положительная величина для активизации связи, когда коэффициент увеличения составляет 2.0 или более. Это обеспечивает действие связи даже тогда, когда изображение 258 выводится на дисплей при повышенном коэффициенте увеличения, а затем выведенное на дисплей изображение перемещается ближе к области связи 163.

С другой стороны, обратившись к связи, показанной стрелкой А на Фиг.8, видно, что изображение 156 переключается на изображение 158 с трансфокацией на минус выводимого на дисплей изображения, т.е. когда коэффициент увеличения кадра начинает уменьшаться, в то время как кадр, больший, чем область связи 162 в изображении 156, выводится на дисплей до тех пор, пока этот кадр не совместится с областью связи 162. Поэтому в поле эффективного диапазона масштабирования 304 определяется отрицательная величина, такая как "-1.0", как показано во второй строке на Фиг.14. Поле файла назначения связей 306 назначает имя файла иерархических данных в назначенном адресе этой связи. В примере связи, показанной стрелкой В на Фиг.8, это поле назначает имя файла иерархических данных изображения 156. Поле кадра изображения в назначенном адресе связи 308 назначает параметры определения кадра выводимого на дисплей изображения, когда переключаются иерархические данные, т.е. кадр области связи на назначенном адресе связи.

Файл определения связей создается для каждого набора иерархических данных на исходном адресе связи. Например, информация на связях, показанных стрелками А и С на Фиг.8, описывается в файле определения связей иерархических данных изображения 156, а информация на связи, показанной стрелкой В, описывается в файле определения связей иерархических данных изображения 158. Каждый из этих файлов хранится совместно с соответствующими иерархическими данными. Таким образом, даже если связи определены по двум направлениям, движение по ним можно проводить независимо. Например, области связей А и В при переходе, указанном стрелкой А на Фиг.9, и области связей А и В при переходе, указанном стрелкой В, могут быть различными как по области, так и по разрешению. В примере, показанном на Фиг.8, для изображения 160 не устанавливаются файлы определения связей, и поэтому, как предполагается, пользователь после реализации перехода к изображению 160 будет самостоятельно, как ему нравится, выводить на дисплей изображение 160.

Как только такой файл определения связей будет предварительно создан, блок оценки связей 116 может в ответ на запрос от блока обработки предвыборки 110 проверять, содержит ли область, предсказанная в результате процесса предвыборки как область, используемая в дальнейшем, ту область связи, которая определена в файле определения связей. Если эта область связи содержится, то блок оценки связей 116 возвращает имя файла иерархических данных в назначенном адресе связи и параметры определения кадра области связи в назначенном адресе связи. Блок обработки предвыборки 110 предоставляет информацию блоку декодирования 112 так же, как и в случае, когда такая область связи не содержится. Блок декодирования 112 считывает из оперативной памяти 60 данные области связи в назначенном адресе связи и декодирует считанные данные.

Аналогичным образом, блок оценки связей 116 в ответ на запрос от блока определения загружаемого блока данных 106 выносит суждение о том, содержится ли в области связи точка, которая должна быть загружена. Если суждение положительно, то блок оценки связей 116 возвращает имя файла иерархических данных в назначенном адресе связи. В этом процессе координаты подлежащей загрузке точки, определенные в изображении в начальном адресе связи, преобразуются в координаты на изображении в назначенном адресе связи, и полученная в результате преобразования информация также возвращается. Блок определения загружаемого блока данных 106 загружает из дисковода жесткого диска 50, хранящего все иерархические данные изображений в назначенном адресе связи, в оперативную память 60 блок изображений, содержащий подлежащие загрузке точки, координаты которых были получены в результате преобразования.

Теперь будет дано описание процесса загрузки блока изображения блоком определения загружаемого блока данных 106 и блоком оценки связей 116. На Фиг.15 схематично показаны точки, которые подлежат загрузке, когда устанавливается связь между двумя наборами иерархических данных. По существу, желательно, чтобы сжатые данные изображения, окружающие выведенное в текущий момент на дисплей изображение, были бы загружены в оперативную память 60. В понятие термина "окружающего" может быть включено соседство в вертикальном и горизонтальном направлениях (ось X, ось Y) в изображении слоя и в направлении глубины (ось Z) иерархической структуры. Соседство в направлении оси Z символизирует увеличенные или уменьшенные изображения, которые включают в себя выведенное на дисплей изображение или соседние с ним изображения.

На Фиг.15 два треугольника, так же как и на Фиг.7, показывают различные наборы иерархических данных 184 и 186. Между этими наборами иерархических данных 184 и 186 установлена связь, которая показана линией 188. Если принять, что выведенное в текущий момент на дисплей изображение обозначено линией 190, то в оперативную память 60 загружается блок изображения, который содержит точки, показанные на рисунке белыми кружочками 192 и черными кружочками 194. Иными словами, из заранее заданного числа слоев, находящихся выше и ниже выведенного в текущий момент на дисплей слоя, определяются как точки, которые подлежат загрузке, несколько точек внутри заранее заданного диапазона области изображения, выведенного на дисплей в текущий момент времени.

В примере на Фиг.15 белыми кружочками 192 и черными кружочками 194 указаны пять точек в одном и том же слое, как выведенного изображения, из них три точки - в слое сразу же выше или ниже выведенного в текущий момент на дисплей слое, а белыми кружочками 192 и черными кружочками 194 показаны по одной точке, расположенных в слое двумя уровнями иерархии ниже или двумя уровнями иерархии выше. На практике же в горизонтальной плоскости рисунка определяется больше точек. В случае когда устанавливается связь, как это показано линией 188, в область связи включаются точки в слое, находящемся сразу же под иерархическими данными 184, и происходящие из выведенного в текущий момент изображения, которые определяются как точки, подлежащие загрузке. Поэтому загружается блок изображений иерархических данных 186, содержащий точки, которые соответствуют точкам, определенным в иерархических данных 184. То же самое справедливо и для точек, определенных в слое двумя уровнями ниже того, который подлежит загрузке. На Фиг.15 точки, которые определены в выведенных в текущий момент иерархических данных 184 и которые должны быть загружены, обозначены белыми кружочками 192, а точки, которые должны быть преобразованы в координаты иерархических данных 186 в назначенном адресе связи, обозначены черными кружочками 194.

Определение точек, которые должны быть загружены, и загрузка блока изображения, содержащего эти точки, могут быть осуществлены в стационарном режиме, в заранее заданные интервалы времени. Чтобы данные необходимой области можно было бы загрузить, дисковод жесткого диска 50 хранит также информацию, отображающую область в изображении каждого блока на область, хранящую этот блок изображения. Аналогичным образом, в оперативной памяти 60 хранится информация, отображающая область в изображении в каждом блоке изображения на область, хранящую этот блок изображения. Блок определения загружаемого блока данных 106 периодически проверяет, хранится ли в оперативной памяти 60 блок изображения, содержащий точки, которые должны быть загружены, и если блок изображения не загружен, то блок определения загружаемого блока данных 106 определяет этот блок изображения как объект загрузки. За счет такой постоянной загрузки единицами блоков изображения обеспечивается снижение времени ожидания, требуемое для вывода на дисплей загружаемых изображений.

Далее, в случае если, как показано на Фиг.15, точки, которые должны быть загружены, заново включены в иерархические данные 186 изображения в назначенном адресе связи, то эти данные в назначенном адресе связи имеют приоритет перед выводимыми в текущий момент на дисплей иерархическими данными 184 и могут быть загружены перед ними. Тем самым обеспечивается гладкий вывод на дисплей нового изображения в назначенном адресе связи, даже если переход к назначенному адресу связи возникает немедленно.

Далее будет дано описание способа преобразования координат точки, которая определяется в иерархических данных в начальном адресе связи и которая должна быть загружена в координатах, определенных в иерархических данных в назначенном адресе связи. На Фиг.16 представлен способ преобразования координат XY в изображении в начальном адресе связи в координаты изображения в назначенном адресе связи. На Фиг.16 принимается, что связь устанавливается таким образом, что область связи 200 в изображении 156 переключается на область связи 204 в изображении 158, и что точка 196, определенная в изображении 156, соответствует точке 198, определенной в изображении 158. Если дано, что координаты точки 196 есть (Ра_х, Ра_у), длина стороны области связи 200 есть (La_sx, La_sy), координаты центра области есть (La_x, La_y), координаты точки 198 есть (Pb_x, Pb_y), длина стороны области связи 204 есть (Lb_sx, Lb_sy), координаты центра области есть (Lb_x, Lb_y), то будут справедливы следующие выражения:

La_sx:(Pa_x-La_x)=Lb_sx:(Pb_x-Lb_x) (выражение 1)

La_sy:(Pa_y-La_y)=Lb_sy:(Pb_y-Lb_y) (выражение 2)

Поэтому координаты точки 198 будут определяться следующим образом:

Pb_x=(Lb_sx/La_sx)×(Pa_x-La_x)+Lb_x (выражение 3)

Pb_y=(Lb_sy/La_sy)×(Pa_y-La_y)+Lb_y (выражение 4)

На Фиг.17 показан способ преобразования координаты Z в изображении в начальном адресе связи в координату Z изображения в назначенном адресе связи. При этом будет приниматься, что между иерархическими данными 184 и иерархическими данными 186 устанавливается связь, показанная линией 208. Иными словами, положение линии 208 представляет область связи в иерархических данных 184 и область связи в иерархических данных 186. Теперь определим здесь переменную "lod" следующим образом:

lod=log₂Np

где Np обозначает число пикселей из всех тех пикселей в изображении на нижнем уровне иерархии, т.е. в изображении с наивысшим уровнем разрешения, которые входят по ширине одного пикселя в изображении с требуемым уровнем разрешения. Поэтому переменная lod является индикатором, который показывает смещение от нижнего треугольника, представляющего иерархические данные. Эта переменная имеет общую ось в направлении оси Z независимо от того числа слоев, которые содержатся в иерархических данных.

С другой стороны, смещение от коэффициента увеличения/уменьшения на области связи, показанное линией 208, к коэффициенту увеличения/уменьшения в точке, над которой проводится преобразование, не зависит от иерархических данных. Здесь будет приниматься, что величина переменной lod в области связей определяется как величина, которая возникает тогда, когда область выводится на экран дисплея в полном размере.

Принимая, как показано на Фиг.17, что значения переменной lod областей связей, определенных в иерархических данных 184 и 186, обозначаются соответственно как La_lod и Lb_lod и что значения переменной lod точки 210, над которой проводится преобразование, обозначаются как Pa_lod и Pb_lod, будут, как следствие упомянутого выше свойства, справедливы следующие выражения:

Pa_lod-La_lod=Pb_lod-Lb_lod (выражение 5)

следовательно,

Pb_lod=Lb_lod+(Pa_lod-La_lod) (выражение 6).

Используя выражения 3, 4 и 6, координаты точек, которые определяются в иерархических данных, порождающих изображение, выводимое в текущий момент времени на дисплей, и которые должны быть загружены в координатах, определенных в иерархических данных, можно преобразовать в координаты в иерархических данных на назначенном адресе связи. Однако полученное значение La_lod не является необходимо расположенным в слое в иерархических данных 186, который содержит данные изображения. Поэтому на практике будут загружены данные слоя, расположенного наиболее близко к положению, выведенному из Pb_lod.

В описанном выше примере в качестве объекта вывода на дисплей рассматриваются два набора иерархических данных, и когда выведенное на дисплей изображение достигает области и коэффициента увеличения, предварительно заданных для одного из изображений, на дисплей выводится другое изображение. Иными словами, устройство в соответствии с этим примером осуществления изобретения может воспроизводить объект, показанный в другом изображении, в увеличенном масштабе или воспроизводить совершенно другой контент, определенный при вводе требования на перемещение выводимого на дисплей изображения. Здесь объектами вывода на дисплей могут быть одновременно три или более наборов иерархических данных. В другом варианте связи могут быть установлены циклически так, что начальное изображение снова будет воспроизводиться на дисплее по мере того, как будет возрастать коэффициент увеличения. В этом случае, поскольку по очереди увеличиваются несколько наборов иерархических данных, для которых последовательно устанавливаются связи, на дисплей могут быть выведены начальные иерархические данные. В другом варианте, как только заданный набор иерархических данных увеличивается, процесс воспроизведения может возвратиться к уменьшенной версии изначально выведенного на дисплей изображения. В последнем случае поле файла назначения связи в файле определения связи иерархических данных может само присваивать имя для файла иерархических данных.

При использовании описанной выше конфигурации возможны, например, следующие типы вывода на дисплей.

1. Непрерывный переход между изображениями, показывающими тот же самый объект, но имеющий существенно различные масштабы (например, увеличение карты мира и переход к выводу на дисплей Японии, префектуры, города, поселка и зданий).

2. Переход к выводу на дисплей информации (например, указания пользователя), связанные с пиктограммой, изображенной на меню экрана игрового устройства или аналогичного устройства и показывающей опцион выбора, происходящего при увеличении пиктограммы.

3. Переход к выводу на дисплей содержимого книги, по мере того как одна из перелистываемых передних обложек книги (например, старый номер журнала) увеличивается.

4. Переход к выводу на дисплей внутренней области объекта (например, зрачки человека) в изображении или сцены, снятой в изображении, по мере того как объект увеличивается; переход к изображению, отличному от начального изображения, по мере того как изображение в назначенном адресе перехода уменьшается.

В этом примере осуществления изобретения описанным выше процессом предвыборки предсказывается изменение выводимого на дисплей изображения по направлению к области связи. Периферийная область вокруг выводимого в текущий момент на дисплей изображения в виртуальном пространстве загружается в память безотносительно к иерархическим данным. Такая конфигурация снижает возможность запаздывания воспроизведения изображения на дисплее из-за процесса загрузки или процесса декодирования, обеспечивая непрерывный переход даже в случае, когда происходит переход к выводу на дисплей изображений в различных наборах иерархических данных.

Задержкой генерации выводимого на дисплей изображения вычислением свертки передаточной функции и сигнала требования от пользователя на перемещение изображения может быть обеспечено плавное переключение между изображениями за счет настройки передаточной функции. В частности, когда изображение на начальном адресе связи и изображение на назначенном адресе связи содержат различные контенты (например, при выводе на дисплей руководства), может быть обеспечено плавное переключение между этими изображениями применением к ним любого из широко известных визуальных эффектов, которые обычно используются при переключении движущихся изображений. К таким эффектам относится, например, монтажный переход, наплыв, вытеснение и переключение страниц, использующее многоугольную сетку.

Данные движущегося изображения могут быть определены как назначенный адрес связи. В этом случае назначенный адрес связи может рассматриваться как иерархические данные, которые содержат один слой данных движущегося изображения. Например, связь к данным движущегося изображения может быть определена в одной из областей некоторого неподвижного изображения. Структура данных, которая показана на Фиг.14, может использоваться в файле определения связей. В поле файла назначения связи 306 указывается имя файла поля движущегося изображения. В случае когда уровень разрешения и выводимая на дисплей область движущегося изображения зафиксированы, то поле кадра изображения в назначенном адресе связи 308 может быть объявлено недействительным. Заданием такой связи определенная подобным образом область связи в выводимом в текущий момент времени изображении будет предсказываться в описанном выше процессе предвыборки, как выводимое за ним изображение, и назначенный файл движущегося изображения запускается на кодирование. В альтернативном варианте кодирование может продолжаться безотносительно к результату предсказания.

Особенности, описанные выше, могут использоваться для придания дисплею новых возможностей. Например, несколько неподвижных изображений (например, изображения гравюр) могут быть выведены на экран так, что некоторое животное на изображении начинает двигаться к данному неподвижному изображению с изменением своего масштаба. Подобным же образом в поле файла назначенного адреса связи 306 в информации связи может быть определен прикладной файл так, что прикладная задача запускается в определенную область на изображении с изменением масштаба.

На Фиг.18 показан пример изображения, в котором определена область связи. В изображении 350 определено несколько областей связей, таких как 352а, 352b и 352с. Когда, например, происходит измерение масштаба области связи 352а, то посредством описанной выше функции на дисплей выводится детализированное изображение области или связанная с ней информация, воспроизводятся движущиеся изображения или запускается прикладная задача. В случае когда области связей ограничены, как в изображении 350, то пользователю может быть предложено переместить выведенное на дисплей изображение, с тем чтобы снизить усилия пользователя, затрачиваемые на выравнивание положения изображения. Даже если области связей не будут ограничены, такая функция будет полезна для управления наведением воспроизведенного на дисплее изображения в соответствии с предварительно определенным намерением пользователя.

Для создания такой функции наведения используются параметры определения кадра, имеющиеся в описанной выше информации связей. Иными словами, подготавливается файл, подобный файлу с информацией о связях, в котором назначаются параметры определения кадра, представленные в формате (горизонтальное смещение, вертикальное смещение, коэффициент увеличения, угол поворота) и определенные для каждой области, к которой должно быть подведено изображение (в дальнейшем такая область именуется областью наведения). Этот файл хранится в виде файла определения сценария 119 в оперативной памяти 60, показанной на Фиг.9. Когда выведенная на дисплей область входит в заранее заданный диапазон в виртуальном пространстве относительно кадра, определенного в файле определения сценария 119, выведенное при этом изображение направляется в область наведения. Этот процесс реализуется этапами, которые уже были описаны ранее, виртуально генерируемым сигналом требования на перемещение изображения в область наведения. Такой "заранее заданный диапазон" также определяется в файле определения сценария с использованием параметров определения кадра.

Это позволяет направлять выведенное на дисплей изображение в область связи 352а, используя только операцию пользователя по перемещению выведенного изображения ближе к области связи 352а. В результате переход к назначенному адресу определенной связи упрощается, повышается удобство и простота использования. В этом примере осуществления изобретения переход к другому изображению на назначенном адресе связи, воспроизведение движущихся изображений или активизация прикладной задачи происходит в ответ на перемещение в виртуальном пространстве выведенного на дисплей изображения. Поэтому намерение пользователя может быть предсказано процессом предвыборки, который предсказывает такое перемещение. Тем самым декодирование другого изображения, декодирование данных движущегося изображения или активизация прикладной задачи могут быть выполнены умозрительно перед реальным переключением вывода изображения на назначенный адрес связи. Таким образом, действительное время, которое проходит между требованием на переключение между изображениями и выводом запрошенного изображения, может быть существенно уменьшено по сравнению с подходами в родственных уровнях техники, где проводится запуск процесса после выбора пиктограммы с использованием указателя.

Приведенный выше пример относится к обнаружению намерения пользователя на перемещение изображения на назначенный адрес связи и наведение выведенного на дисплей изображения на область связи. С другой стороны, подобная конфигурация может использоваться для наведения выведенного на дисплей изображения безотносительно к тому, определена ли область связи. На Фиг.19 показано, как выведенное на дисплей изображение направляется внутри заданных иерархических данных для реализации перехода между различными слоями для последующего воспроизведения на экране. На Фиг.19 иерархические данные 360 соответствуют изображению 362. Здесь будет приниматься, что области наведения 374 и 376, показанные соответственно линиями иерархии 368 и 370, определяются в файле определения сценария 119 с использованием параметров определения кадра, и что область 372, выведенная на дисплей в текущий момент времени, соответствует линии иерархии 366.

По мере того как пользователь увеличивает выведенное на дисплей изображение, начинающееся в области 372, это изображение направляется к области наведения 374 (стрелка D), когда выведенное изображение входит в заранее заданный диапазон области наведения 374. Далее увеличение продолжается и выведенное на дисплей изображение входит в заранее заданный диапазон области наведения 376, и выведенное на дисплей изображение направляется к области наведения 376 (стрелка Е). Режим вывода на дисплей, как он описан выше, может быть использован для самых различных целей в зависимости от контента выводимого на дисплей изображения.

Например, пользователь может захотеть увеличить только выбранную область на фотографии пейзажа или портрета. Однако при использовании технологии известного уровня техники увеличения или уменьшения экрана попытка увеличения желаемой области может привести к воспроизведению нежелательной части на изображении и может оказаться трудным отыскать нужную пользователю область при выбранном коэффициенте увеличения изображения. Регистрацией файла определения сценария для области, которая будет по результатам предсказания увеличиваться, как предусмотрено в настоящем осуществлении изобретения, данная область будет точно увеличиваться, по мере того как пользователь будет перемещать выведенное на дисплей изображение приблизительно в направлении этой области и вводить требование на увеличение. Направление выведенного на дисплей изображения к области наведения может произойти не только тогда, когда выведенное изображение находится в окрестности области наведения. Например, выведенная на дисплей область может быть перемещена, когда нажимается заранее заданная кнопка, безотносительно к положению изображения, выведенного на дисплей в текущий момент времени.

Описанное выше наведение совсем не обязательно является наведением на другой слой иерархии. Например, может быть назначена последовательность областей наведения выведенного на дисплей изображения внутри одного и того же иерархического слоя. На Фиг.20 показано, как выведенное на дисплей изображение перемещается, когда комбинируется наведение на другой иерархический слой и наведение на другую область того же самого иерархического слоя. Например, рассмотрим случай, когда на дисплей выводится одна страница газеты или журнала с использованием иерархических данных 380. В этом случае в качестве областей последовательного наведения для каждой статьи определяется область, содержащая знаки, которую предполагается просматривать в увеличенном виде. Из Фиг.20 следует, что такую область представляет область наведения 392, определенная линией 386. Далее, в ее нижнем иерархическом слое, то есть в иерархическом слое, который имеет такой уровень разрешения, который дает возможность пользователю распознавать знаки, определяется несколько областей наведения, позволяющих просматривать статью от начала до конца. В данном случае такими областями являются область наведения, показанная линией 388, и область наведения, показанная линией 390.

Пользователь сначала выводит на дисплей область 382 всей страницы, показанной линией 384, а затем увеличивает выведенное изображение, постепенно приближая его к нужной ему статье. Это будет приводить пользователя к области наведения 392, определенной в статье (стрелка F). При этом дальнейшее увеличение приводит в результате к наведению на область наведения 394 в заголовке статьи (стрелка G). Как только пользователь, прочитавший предложение в области наведения 394, назначает направление или нажимает заранее заданную кнопку, пользователь направляется к области наведения 396, показывающей продолжение этой статьи (стрелка Н).

При определении перемещения выведенной на дисплей области внутри того же самого иерархического слоя определяется последовательность выводимых на дисплей изображений, а также параметры определения кадра. Кроме того, определяется управляющий ключ для назначения перемещения выведенной на дисплей области, как это было описано выше. Например, в случае предложений, организованных в несколько столбцов (например, газетная статья), область вывода необходимо перемещать справа налево, а затем перемещать находящуюся ниже область снова справа налево. При предварительном определении областей вывода и последовательности вывода областей на дисплей пользователю нет необходимости отыскивать положение в увеличенном изображении, к которому должно быть перемещено выведенное на дисплей изображение. Как было описано выше, наведение может возникать, когда выведенное в текущий момент времени изображение входит в заранее заданный диапазон области наведения, даже в случае перемещения внутри одного и того же иерархического слоя.

На Фиг.19 и Фиг.20 схематично показан переход выведенного изображения в заданном наборе иерархических данных. Если в переходе определена связь к другому набору иерархических данных, то воспроизведение на дисплее должно естественным образом делать переход к другому набору иерархических данных. Описанный выше пример приведен для случая наведения выведенного на дисплей изображения, когда пользователь вводит требование на параллельный перенос, увеличение или уменьшение изображения. В настоящем примере осуществления требуется также предоставление функции, которая обеспечивает переход выведенного на дисплей изображения к зарегистрированной области наведения через заданные интервалы времени. В этом случае пользователю может потребоваться только ввести требование на исполнение такого режима. Эта функция реализует новый способ представления исходных неподвижных изображений, как если бы они являлись движущимися изображениями. Например, эта функция обеспечивает показ изображений, которые подсказывают покупки в магазине, или обеспечивает непрерывный браузинг фотографий.

Когда выведенное на дисплей изображение переводится в такой режим перехода автоматически, то параметры определения кадра, последовательность выводов на дисплей и время вывода на дисплей каждого изображения определяются в файле определения сценария 119. В этом случае файл определения сценария 119 может детально описывать процесс управления перемещением изображения с использованием языка разметки, такого как XML. В этом процессе управления блок интерпретации сценария 117 считывает сценарий из оперативной памяти 60, интерпретирует сценарий и управляет выведенным на дисплей изображением обращениями к блоку обработки выведенного изображения 114, блоку определения связей 116 и блоку загрузки 108 для соответствующего исполнения процесса. На Фиг.21 представлена блок-схема, показывающая последовательность этапов для этого случая.

Сначала назначаются иерархические данные (S20). При этом может быть назначен единственный набор иерархических данных, представляющий единственное изображение. В альтернативном варианте может быть назначен блок из нескольких наборов иерархических данных, между которыми определена связь. Затем назначается изображение, которое должно быть выведено на дисплей, используя для этого параметры определения кадра (S22). Далее определяется надлежащий процесс создаваемых эффектов, реализуемых при выводе изображения на дисплей (S24). Если перед этим на дисплей было выведено другое изображение, то может быть назначен процесс монтажного перехода или может быть назначен процесс постепенного уменьшения предыдущего изображения и увеличения изображения, выводимого на дисплей в текущий момент времени. Далее назначается интервал времени до перехода к выводу на дисплей следующего изображения, а также назначается процесс интерполяции в этом интервале времени от текущего изображения к следующему изображению (S26). Например, "следующее изображение" может быть изображением в тех же самых иерархических данных, но в другом слое (например, увеличенная версия или уменьшенная версия текущего изображения), или изображением на назначенном адресе связи. В альтернативном варианте "следующим изображением" может быть изображение в другом наборе иерархических данных.

В качестве способа образования такого процесса перехода изображения может применяться процедура, обычно используемая, например, в технике анимации для случая, когда за ключевые кадры принимаются текущее изображение и следующее за ним изображение. Этапы S20 и S26 могут быть сгруппированы в один блок. Если в различных наборах иерархических данных существуют изображения, которые желательно вывести на дисплей последовательно, то пишется сценарий повторения такого блока. Считывание написанного таким образом файла определения сценария 119 блоком обработки предвыборки 110 позволяет сгенерировать виртуальное требование на перемещение изображения, как и в случае, когда пользователь предоставляет требование на перемещение изображения. Блок обработки предвыборки 110 передает запрос на блок определения связей 116 и запрашивает блок декодирования 112 на исполнение процесса декодирования. Тем самым можно легко реализовать режим вывода на дисплей, при котором заданные изображения выводятся на дисплей, последовательно изменяясь одно за другим. При этом в файле определения сценария, наряду с параметрами определения кадра, может также назначаться число иерархических слоев данных, которые используются при рендеринге изображения.

Ниже описывается пример файла определения сценария 119, написанный на языке XML.

В приведенном выше тексте программы строки (3) - (7) назначают иерархические данные, которые используются в контенте. Строка (8) назначает начальное положение изображения. Строки (9) - (13) назначают изображение выводимых на дисплей иерархических данных, выводимых как индекс изображения, которое должно использоваться первоначально, и область вывода на дисплей этого изображения. Строки (14) - (31) назначают данные, сдвигаемые зумингом на изображение иерархических данных передней обложки книги с использованием анимации. Строки (14) - (26) из этих строк назначают анимацию камеры описанием ключевых кадров. Строки (27) - (31) назначают изображение иерархических данных, выводимых на дисплей, и положение области вывода на дисплей этого изображения. С использованием этой области вывода устанавливается связь. Строки (32) - (38) назначают переключение на изображение иерархических данных, содержащих связь с движущимися изображениями, а также определяют, что движущиеся изображения выводятся с увеличенным масштабом. Строки (32) - (35) из этих строк назначают связь к движущемуся изображению тем же самым образом, что и связь к иерархическим данным. Строка (36) назначает приложенный эффект, используемый при рендеринге, когда переключается изображение. Строки (39) - (43) назначают вывод на дисплей уведомления об авторских правах на движущиеся изображения по мере того, как движущиеся изображения выводятся на дисплей. Строки (40) - (41) из этих строк назначают вывод на дисплей простого изображения, не имеющего иерархической структуры.

Настоящий пример осуществления изобретения позволяет легко реализовать различные представления изображения за счет формирования файла назначения связей или файла определения сценария, используя при этом исходные компоненты из большого числа наборов иерархических данных. Следовательно, непрофессиональный пользователь может использовать иерархические данные, предоставляемые как контент на сети или на носителе записи, и может создавать свой собственный, индивидуальный контент. Кроме того, создаваемый подобным образом контент может быть распределен.

На Фиг.22 схематично показан пример режима распределения данных при реализации этого осуществления настоящего изображения. В данном примере серверы 400, 402 и 404 соединены через сеть 420. Сервер сам может являться создателем контента или в альтернативном варианте может являться информационным терминалом непрофессионального пользователя. В еще одном варианте вместо сервера может использоваться носитель записи, такой как CD-ROM или DVD. Сервер 400 предоставляет контент, содержащий иерархические данные 406а и файл атрибутов 408а, присоединенный к иерархическим данным. Описание файла атрибутов 408а будет дано позднее. Сервер 402 предоставляет контент, содержащий иерархические данные 406b, образованные из нескольких наборов иерархических данных, файлы определения связей 410b, 410с, которые определяют информацию на связях между наборами иерархических данных, файл определения сценария 412b и файл атрибутов 408b.

Когда в наборе иерархических данных 406b определяется связь, файлы определения связей 410b и 410с присоединяются к индивидуальным наборам иерархических данных, как это было описано выше. С другой стороны, в файле определения сценария эту связь можно определить так, что файл определения сценария с определенной таким образом связью имеет преимущество и ему предоставляется возможность задавать установочные параметры на все иерархические данные, поэтому этот файл определения сценария подсоединяется ко всему набору иерархических данных, в котором определена связь.

Сервер 404 предоставляет только файл определения сценария 412с. Показанная здесь структура данных иллюстрирует именно данный пример. Файл определения сценария может быть присоединен к единственному набору иерархических данных, в котором отсутствуют установленные связи. И наоборот, файл определения связей может быть присоединен без присоединения файла определения сценария. Эти контенты, хранимые в сервере 400 и сервере 402, могут быть выведены на дисплей автономно. С другой стороны, набор контента может быть создан, получив для этого файл определения сценария 412с и наборы иерархических данных 406а и 406b, назначенные в этом файле, если такие наборы иерархических данных входят в состав параметров настройки, определенных в файле определения сценария 412с на сервере 404. Поэтому единицей распределения, как контента, может быть любая из структур данных, показанных на Фиг.22.

Файл атрибутов присоединяется к иерархическим данным, учитывая все эти обстоятельства. Информация, записанная в файле атрибутов, содержит информацию, которая относится к контенту (например, базовая информация, такая как заголовок контента, автор, издатель, спонсор, дата создания, версия и используемый язык; информация о владельце прав на контент или материал источника; информация о возмещении расходов; информация о контроле вторичным использованием; информация о владельце или авторских правах, такая как дата выпуска, конечная дата действия, число раз допускаемого копирования и число раз, когда обладание контентом может быть передано; и оценка стоимости).

Дополнительно могут быть присоединены атрибуты управления контентом (например, информация аутентификации управления, такая как разрешение на соединение или на использование данных, схемы шифрования и сигнатуры; информация, относящаяся к выставлению счетов, такая как информация о том, будут ли проводиться платежи по мере поступления доходов, информация о том, определен ли верхний предел числа раз использования контента, информация о том, можно ли получить контент без оплаты, назначение валюты или виртуальных денег, и информация о способе платежа, выбранного для оплаты, возврат оплаты, контроль и пр.; рабочая среда, такая как платформа, операционная система и рекомендуемые ресурсы; и информация управления доступом, такая как целевые пользователи и области или страны разрешаемого использования). Далее к файлу атрибутов может быть присоединена информация о структуре данных. Например, присоединенная информация о структуре данных может содержать информацию о структуре контента, которая имеет область атрибутивной информации, области иерархических данных и информацию о внешних ссылочных связях; краткая информация, определяющая имя контента, репрезентативное изображение, руководство по оплате, резюме атрибутов; и информацию о месте, где хранится кадровая информация.

Присоединением этой атрибутивной информации к индивидуальным иерархическим данным обеспечивается то, что будут приняты надлежащие меры, когда контент, содержащий несколько наборов иерархических данных и использующий иерархические данные с этими атрибутами, как назначение связи, будет создан и выведен на дисплей. Например, присоединение атрибутов обеспечивает вывод на дисплей уведомления об авторских правах, когда возникает переход к контенту, определенному авторскими правами, как к адресу назначения связи, и обеспечивает вывод на дисплей диалога по аутентификации контента, сконфигурированный так, что аутентификация является необходимой. На вопрос о том, выводить или не выводить на дисплей этот контент, может быть дан ответ в соответствии с оценкой и профилем зрителя. Если вывод контента запрещается, то изображение на дисплей не выводится. Когда вывод контента запрещается, то переход по адресу назначения связи не происходит, даже если выведенное изображение находится внутри области связи, так что может быть только увеличено или уменьшено изображение из начальных иерархических данных. Процессы, исполняемые в соответствии с атрибутивной информацией, могут быть реализованы с использованием той же самой конфигурации, что использовалась в процессе вывода на дисплей простого контента.

Большое число иерархических данных, для которых определены связи, образуют единичный контент, как единое целое, поэтому файл атрибутов присоединяется не только к индивидуальным наборам иерархических данных, но также ко всей совокупности из нескольких наборов иерархических данных.

Теперь будет дано описание технологии поддержки пользователя при создании им контента такого, который был описан выше в примере осуществления и в котором используются иерархические данные. На Фиг.23 показана конфигурация устройства обработки изображений, имеющего функцию поддержки создания контента в соответствии с примером осуществления настоящего изобретения. Устройство обработки изображений 500, показанное на Фиг.23, может иметь ту же самую конфигурацию, что и конфигурация устройства обработки изображений 10, показанного на Фиг.4. На Фиг.23 описаны только те функциональные блоки, которые предназначены для реализации настоящего примера осуществления. Поэтому блок управления 502 на Фиг.23 может быть реализован тем же самым процессором, что и в блоке управления 100, показанном на Фиг.9. В альтернативном варианте блок управления 502 может быть реализован как отдельное устройство.

Устройство обработки изображений 500 реализует одну из описанных ниже функций или комбинацию таких функций.

1. Получение сообщения об определении области наведения, а также формирование и обновление файла определения сценария.

2. Получение сообщения об определении областей связей, а также формирование и обновление файла определения связей.

3. Получение сообщения по выбору нескольких изображений и создание индексного изображения, которое обеспечивает выбор из нескольких изображений определением связей между этими изображениями.

Устройство обработки изображений 500 содержит устройство ввода 520, блок управления 502, дисковод жесткого диска 550 и оперативную память 560. На дисководе жесткого диска 550 хранятся существующие наборы иерархических данных 551. Между наборами иерархических данных может быть установлена связь. Устройство ввода 520 является интерфейсом, который предоставляет пользователю возможность вводить команду выбора упомянутых выше функций, выбора области изображения и различных параметров настройки. Например, устройство ввода 520 может иметь внешний вид, показанный на Фиг.2. Блок управления 502 содержит блок получения входной информации 504, блок вывода заданного изображения 506 и блок регистрации определяющей информации 508. Блок получения входной информации 504 запрашивает информацию, вводимую пользователем через устройство ввода 520, и выдает требование на блок вывода заданного изображения 506 и блок регистрации определяющей информации 508 на выполнение процесса соответствующим образом.

Когда пользователь вводит свое требование, в котором он хочет определить область наведения или области связей, блок вывода заданного изображения 506 считывает иерархические данные изображения, выбранного пользователем, из дисковода жесткого диска 550 и выводит изображение на дисплей. Блок вывода заданного изображения 506 перемещает выведенное на дисплей изображение в соответствии с требованием пользователя на перемещение экрана или выводит на дисплей прямоугольник для определения области в соответствии с позиционной информацией указателя. Когда пользователь назначает область внутри изображения для задания области связи или области наведения, блок регистрации определяющей информации 508 запрашивает параметры определения кадра этой области, генерирует файл определения связей 562 или файл определения сценария 564 и сохраняет сгенерированные файлы в оперативной памяти 560.

Когда пользователь выбирает несколько изображений, блок регистрации определяющей информации 508 выбирает надлежащий уровень разрешения этих изображений, создает иерархические данные индексного изображения 566, показывающего расположение изображений в заранее заданном формате, и сохраняет полученные данные индексного изображения в оперативной памяти 560. Файл определения связей 562, в котором определяются связи между созданными иерархическими данными индексного изображения и иерархическими данными отдельных изображений, содержащихся в индексе (в последующем именуются как "индивидуальные изображения"), создаются в то же самое время и сохраняются в оперативной памяти 560. Как было упомянуто выше, файл определения связей 562, файл определения сценария 564 и данные индексного изображения 566 могут храниться не только в оперативной памяти 560 и использоваться для вывода на дисплей, но также храниться и на дисководе жесткого диска 550 или другом носителе записи. В этом процессе файлы 562 и 564, данные 566 и иерархические данные, подлежащие определению, группируются для формирования единого контента.

На Фиг.24 иллюстрируются этапы процесса, упомянутого выше в "I": получение сообщения об определении области наведения, а также создание и обновление файла определения сценария. Пользователь выбирает иерархические данные требуемого ему изображения, используя для этого устройство ввода 520. Блок вывода заданного изображения 506, принимающий информацию от блока получения входной информации 504, считывает иерархические данные из дисковода жесткого диска 550 и соответственно воспроизводит на дисплее эти данные. Изображение 570 на Фиг.24 показывает все целиком выбранное изображение. Пользователь использует устройство ввода 520 для формирования требования на перемещение изображения, видя при этом изображение, выведенное на дисплей блоком вывода заданного изображения 506. Пользователь нажимает предварительно определенную кнопку после воспроизведения на дисплее в области 572, которую пользователь хочет определить как область наведения в размере всего экрана. Вместо описанного выше процесса может быть визуализирован прямоугольник, окружающий эту область, используя для этого операцию указателя, которая подсказывает пользователю необходимость нажатия на кнопку определения.

В ответ на это блок регистрации определяющей информации 508 запрашивает параметры определения кадра в этой области и записывает полученные параметры в файле определения сценария 564. Затем пользователь выбирает другую, необходимую ему область 574 и нажимает кнопку определения. В ответ на это нажатие блок регистрации определяющей информации 508 вносит параметры определения кадра выбранной области в последующую строку в файле определения сценария 564. При повторении описанных выше этапов в файле определения сценария 564 записываются все необходимые пользователю области. Используя созданный таким образом файл определения сценария 564, области, которые пользователь хочет вывести на дисплей, последовательно воспроизводятся при заданном разрешении на дисплее в порядке областей 572, 574, …, как это было описано выше.

Кроме того, может быть сгенерирован язык разметки, который описывает процесс управления воспроизведением (например, время вывода каждой области, процесс анимации для интерполяции между областями и процесс создания эффектов). Могут быть представлены также различные варианты процесса обработки изображений с использованием выборок изображений, подсказывающих пользователю выбор желаемого процесса обработки. Такой выбранный процесс записывается в файле определения сценария 564 наряду с параметрами определения кадра области наведения.

На Фиг.25 показаны этапы процесса, обозначенного выше как "2": получение сообщения об определении областей связей, а также создание и обновление файла определения связей. Пользователь, используя устройство ввода 520, выбирает два набора иерархических данных двух изображений, являющиеся теми изображениями, которые должны быть связаны между собой. Блок вывода заданного изображения 506, получающий информацию от блока получения входной информации 504, считывает эти иерархические данные из дисковода жесткого диска 550 и воспроизводит на дисплее эти данные с использованием двух экранов. Изображение 582 и изображение 584 на Фиг.25 показывают выбранные изображения. Пользователь использует устройство ввода 520 для формирования требования на перемещение изображения 582, видя при этом изображение, выведенное на дисплей блоком вывода заданного изображения 506, и инициирует воспроизведение изображения, содержащего область 586, которую пользователь хочет определить, как подлежащую воспроизведению область связи. Затем пользователь очерчивает прямоугольник, который окружает подлежащую воспроизведению область, используя для выбора такой области операцию указателя. Аналогичным образом выбирается область 588 в изображении 584. Когда выбор завершен, пользователь нажимает заданную кнопку определения.

В ответ на это блок регистрации определяющей информации 508 запрашивает параметры определения кадра областей 586 и 588 и записывает эти параметры в файл определения связей 562 в форме структуры данных, как это показано на Фиг.14. Блок регистрации определяющей информации 508 собирает и регистрирует информацию, которая назначается в поле эффективного диапазона масштабирования 304 и в поле файла назначения связей 306, устанавливая при этом, например, правило для блока вывода заданного изображения 506 о выводе изображения в начальном адресе связи и изображения в назначенном адресе связи соответственно на левой стороне и на правой стороне, информацию, предоставляющую пользователю возможность выбора того, определяет ли связь переход к увеличению изображения или к уменьшению изображения, и другую информацию. Сгенерированный таким образом файл определения связей 562 определяет связь между изображением 582 и изображением 584. Если проводится увеличение масштаба области 586, как было описано выше, то происходит переход к иерархическим данным изображения 584 для воспроизведения этого изображения, создавая тем самым увеличенное представление этого изображения.

В приведенном выше примере был описан случай, когда определяется связь между данными изображений, однако функция назначенного адреса связи не ограничивается только изображениями, в нем могут определяться также такие данные, как движущиеся изображения, приложения, аудио, музыка, текст и пр. В этом случае изображение, находящееся в начальном адресе связи, может быть выведено на дисплей аналогично изображению 582. Вместо изображения 582 может быть воспроизведена пиктограмма, определяющие данные, которые являются представлениями различных вариантов данных в назначенном адресе связи, что оставляется на выбор пользователя. Как было описано выше, в поле файла назначенного адреса связи 306 в файле определения связей 562 записывается имя файла данных, соответствующих выбранной пиктограмме. При этом поле кадра изображения в назначенном адресе связи 308 может быть игнорировано.

Когда пользователем выбираются области 586 и 588, то в виртуальном пространстве могут быть точно установлены параметры определения кадров так, что объекты, как показано на этих двух изображениях, полностью совмещаются выделением особых точек в объектах, воспроизведенных в каждой из этих областей, и вычислением оценок согласования. Тем самым предотвращается возникновение относительного смещения между объектами во время перемещения, определяемого связью между изображениями, а также предотвращается возможность того, что процесс переключения становится видимым. Это обстоятельство полезно не только в случае, когда объекты на двух изображениях являются идентичными, но также в случае, когда два изображения смешиваются монтажным переходом (например, когда заданный объект подвергается процессу изменения). На Фиг.25 представлены выбор области в каждом из двух таких изображений и соответствующее определение связей. В альтернативном варианте выбираться могут три или более изображения или же может быть определено несколько областей связей в одном изображении. Этот случай также можно реализовать повторением описанных выше этапов обработки.

Если к иерархическим данным, в которых установлена связь, присоединяется некоторая атрибутивная информация, то на дисплей может быть выведен диалог, который предоставляет пользователю возможность вводить информацию, подобную той, которая должна быть выведена на дисплей, и указывать, где эта информация должна быть воспроизведена на дисплее. Информация, введенная пользователем, записывается в файле определения связей 562 и может быть надлежащим образом воспроизведена на дисплее при возникновении перехода к изображению на адресе назначения связи.

На Фиг.26 показан процесс, обозначенный выше как "3": получение сообщения по выбору нескольких изображений и создание индексного изображения, которое обеспечивает выбор из нескольких изображений определением связей между этими изображениями. При этом пользователь использует устройство ввода 520 для выбора иерархических данных нескольких индивидуальных изображений, для которых желательно определить индексы. В ответ на этот ввод блок регистрации определяющей информации 508 генерирует индексное изображение, в котором в качестве индексов вложены индивидуальные изображения при надлежащих уровнях разрешения (такое, как изображение с наименьшим уровнем разрешения в выбранных иерархических данных); например, в качестве данных индексного изображения 566 генерируется изображение 350, как показано на Фиг.18, и данные изображения 566 сохраняются в оперативной памяти 560. На Фиг.18 области 352а, 352b и 352с представляют индивидуальные изображения, выбранные пользователем.

Иерархические данные 590 могут быть реальными данными, выбранными пользователем. Например, выбором в качестве иерархических данных 590 изображения стены художественного музея и размещением индивидуальных изображений внутри кадров на стене создаются изображения, показывающие индивидуальные изображения на стене художественного музея. Информация о том, где в индексном изображении размещены индивидуальные изображения, размер этих изображений и прочая информация может быть получена от пользователя. В этом случае блок регистрации определяющей информации 508 может генерировать данные индексного изображения, в которых индивидуальные изображения с размерами, определенными пользователем, вложены в тех местах, которые также определяются пользователем.

Блок регистрации определяющей информации 508 генерирует также файл определения связей 562, в котором определены связи к иерархическим данным 592а, 592b, …, 592n в заданных позициях иерархических данных 590 индексного изображения, где вложены индивидуальные изображения, и сохраняет файл 562 в оперативной памяти 560. Использованием данных индексного изображения 566 и файла определения связей 562, сгенерированных таким образом, можно создать переход, например, к иерархическим данным 592а индивидуального изображения для вывода на дисплей этого изображения, проводя зуминг на индивидуальное изображение в индексном изображении, что позволяет получать увеличенное изображение или воспроизведение движущегося изображения. Данные индексного изображения 566, файл определения связей 562 и иерархические данные индивидуальных изображений могут быть сгруппированы, образуя при этом единый контент, который сохраняется на дисководе жесткого диска 550.

Связи между иерархическими данными индивидуального изображения (например, иерархические данные 592а) и иерархическими данными 590 индексного изображения могут быть не определены. Вместо этого могут быть сгенерированы иерархические данные индексного изображения, которое содержит все иерархические данные индивидуальных изображений. В альтернативном варианте может быть сгенерировано индексное изображение, в которое будет введено несколько существующих индексных изображений. В данном случае такой процесс может быть реализован при наличии возможности выбора индексного изображения вместо индивидуального изображения.

В соответствии с описанным выше примером осуществления настоящего изобретения связь определяется между наборами иерархических данных двух изображений, что обеспечивает переход между наборами иерархических данных для рендеринга воспроизводимого на дисплее изображения только лишь введением запроса на параллельный перенос, увеличение или уменьшение этого изображения. Тем самым исключается необходимость обслуживания внешних данных (например, изображения высокого разрешения области, которая была бы незначимой, если ее увеличить) и тем самым снижается объем обрабатываемых данных. Манипулированием изображений, значительно различающихся по масштабу (например, карта мира и карта около здания) в раздельных иерархических данных, могут быть переопределены численные значения для управления положением выводимого на дисплей изображения в соответствующих иерархиях, тем самым легко может быть поддержана позиционная точность.

С другой стороны, в случае когда связь определяется между совершенно различными изображениями (например, между изображением меню и руководством пользования пиктограммами в этом меню), взаимный переход между изображениями может быть реализован только операцией увеличения или уменьшения изображения. Поэтому пользователь может видеть другое изображение как таковое только при наличии знаний о позиционной информации переключенного перед этим изображения. Например, в известных родственных решениях, в которых пользователь выводит поддержку экрана для изучения функции пиктограммы, отыскивает описание, возможно относящееся к этой пиктограмме, и читает это описание, этапы, которые необходимо выполнить при этом, включая вывод пиктограммы и вывод описания подсказки, являются такими сложными, что мысли пользователя легко сбиваются с правильного направления. В результате этого пользователь может и перестать следить за первоначально поставленной целью. Однако в соответствии с примером осуществления настоящего изобретения пиктограмма и руководство непосредственно соединяются так, что возможно интуитивное понимание и тем самым обеспечивается повышение эффективности работы.

При этом могут быть предсказаны такие операции пользователя с изображениями, как увеличение, уменьшение, параллельный перенос и пр., которые возникнут в будущем. В настоящем примере осуществления изобретения заранее делается предсказание и декодирование изображения в назначенном адресе связи. Это позволяет гладко визуализировать изображение в назначенном адресе связи, когда пользователь в действительности запрашивает переключение изображения, и снижает время ожидания, необходимое для исполнения процесса декодирования. Это является полезным также при запуске воспроизведения движущихся изображений в назначенном адресе связи или при активизации прикладной задачи. Иными словами, предварительным воспроизведением движущихся изображений или проведенным заранее процессом предвыборки активизации прикладной задачи может быть получен гладкий выходной результат, когда пользователь действительно запрашивает переход к назначенному адресу связи. По сравнению со способом родственного уровня техники, в котором используется активизация, инициируемая кликом пиктограммы, предложенный настоящим изобретением подход существенно уменьшает запаздывание исполнения процесса и снижает нагрузку на пользователя.

Использованием операции свертки для создания запаздывания по времени между вводом пользователем сигнала, запрашивающего перемещение воспроизведенного на дисплее изображения, и выводом изображения на дисплей или применением надлежащего процесса создания визуального эффекта (например, монтажного перехода), когда происходит переключение изображения, изобретенная система может создавать впечатление, что изображение переключается плавно. В результате предоставляется новый инструмент ввода, который использует операцию перемещения выведенного на дисплей изображения для воспроизведения других неподвижных изображений или движущихся изображений. Изобретенный инструмент позволяет не только выводить на дисплей изображения, но также воспроизводить музыку или данные текста.

Назначение связи осуществляется определением области связи в иерархических данных начального адреса связи и иерархических данных назначенного адреса связи в виртуальном пространстве, и поэтому структура связи, которая является, без сомнения, сложной, может быть легко определена так, что непрофессиональные пользователи могут с легкостью создавать контент. За счет того что внутри иерархических данных хранится несколько областей, использующих это определение, выведенное на дисплей изображение можно наводить на эти области. Например, область связи может быть определена так, что воспроизведенное на дисплее изображение направляется к определенной области связи только приблизительным совмещением выведенного изображения с этой областью связи так, что переключение на изображение по назначенному адресу связи может произойти за короткий период времени. Созданием файла определения сценария, в который записывается несколько частей в изображении, которое требуется рассмотреть, эти определенные части могут быть последовательно представлены для обзора, обеспечивая возможность создания эффективного контента, такого как рекламирование или презентация. В альтернативном варианте изобретенная система обеспечивает перемещение к следующей области в статье, написанной в формате многих колонок, или к страницам журнала, назначенным к просмотру в заранее заданном порядке, так, что поддерживается такой уровень увеличения, который обеспечивает разборчивость знаков.

Иерархические данные, в которых файлом определения сценария определена описанным образом связь, или иерархические данные, в которых определена описанным образом область наведения, могут быть распределены как пакет. Кроме того, такие модули, как иерархические данные или файл определения сценария, могут быть распределены и автономным способом. Атрибутивная информация, такая как информация, относящаяся к контенту, информация, относящаяся к управлению, информация о структуре данных или аналогичная информация, присоединяется к каждому набору иерархических данных или контенту. В случае когда контент содержит иерархические данные или контент создается другим автором, упомянутые выше решения обеспечивают биллинг или наложение ограничений на переход по назначенному адресу связи. Кроме того, определением формата атрибутивной информации, который будет одинаковым для всех модулей контента, может быть эффективно создан вторичный контент, использующий эту атрибутивную информацию.

Изображения на экране области связи и области наведения представлены с той целью, чтобы выбирать и поддерживать создание контента, генерируя при этом файл определения связей или файл определения сценария в заранее заданном формате. Таким путем пользователь может легко определять области связи или область наведения, видя при этом перед собой реальное изображение и детально конкретизируя изображение. При определении области связи точно настраиваются положения областей связей двух изображений посредством выделения особых точек и вычисления оценки согласования. Тем самым предотвращается возникновение ошибочного совмещения, когда изображения переключаются, и обеспечивается непрерывное перемещение изображений, что снижает возможность того, что зритель заметит переключение изображений.

Далее генерируется индексное изображение, в которое вложено несколько индивидуальных изображений, выбранных пользователем. Затем генерируется файл определения связей, который определяет связи между индексным изображением и индивидуальными изображениями. Тем самым упрощается создание различных контентов простым выбором изображений. Например, пользователь может создать контент, который предоставляет возможность выбора нужных пользователю прошлых номеров журнала из изображений контента прошлых номеров; контент, снабженный экранным меню, из которого могут быть запущены различные прикладные задачи или движущиеся изображения; контент, который переключается и показывает картины, повести, портреты и пр., а также связанные с ними комментарии.

Выше было приведено объяснение, которое базируется на одном примере осуществления настоящего изобретения. Этот пример осуществления является всего лишь иллюстративным, и специалистам в данной области техники будет очевидно, что могут быть разработаны различные модификации составных компонентов, элементов и процессов и что такие модификации также находятся в сфере действия настоящего изобретения.

ОПИСАНИЕ ССЫЛОЧНЫХ НОМЕРОВ

1 - система обработки изображений, 10 - устройство обработки изображений, 12 - дисплейное устройство, 20 - устройство ввода, 30 - нулевой слой, 32 - первый слой, 34 - второй слой, 36 - третий слой, 38 - мозаичное изображение, 44 - блок управления выводом, 50 - дисковод жесткого диска, 60 - оперативная память, 70 - буферная память, 90 - память кадров, 100 - блок управления, 102 - блок получения входной информации, 104 - блок разделения сжатых данных, 106 - блок определения загружаемого блока данных, 108 - блок загрузки, 110 - блок обработки предвыборки, 112 - блок декодирования, 114 - блок обработки выведенным изображением, 116 - блок определения связей, 117 - блок интерпретации сценария, 118 - файл определения связей, 119 - файл определения сценария, 408а - файл атрибутов, 500 - устройство обработки изображений, 502 - блок управления, 504 - блок получения входной информации, 506 - блок вывода заданного изображения, 508 - блок регистрации определяющей информации, 520 - устройство ввода, 550 - дисковод жесткого диска, 560 - оперативная память, 562 - файл определения связей, 564 - файл определения сценария, 566 - данные индексного изображения.

ПРОМЫШЛЕННОЕ ПРИМЕНЕНИЕ

Как было описано выше, настоящее изобретения применимо к устройствам обработки информации, таким как компьютеры, игровые устройства и устройства воспроизведения изображений на дисплее.

1. Устройство обработки изображений для вывода на дисплей, по меньшей мере, части изображения, отличающееся тем, что содержит:
запоминающее устройство, хранящее иерархические данные, образованные данными изображений, которые являются представлениями одного и того же изображения с различными уровнями разрешения и которые иерархически организованы в порядке уровней разрешения; и
память, хранящую файл определения сценария, который назначает область в упомянутых иерархических данных в виртуальном пространстве, определенном плоскостью изображения и осью уровней разрешения; и
блок получения входной информации, принимающий от пользователя входные данные требования, которые относятся к изменению выведенного на дисплей изображения; и
блок обработки выведенного на дисплей изображения, направляющий выведенное на дисплей изображение в область, которая указана в упомянутом файле определения сценария, когда от пользователя будут получены заранее заданные входные данные требования.

2. Устройство обработки изображений в соответствии с п. 1, отличающееся тем, что
упомянутый блок получения входной информации принимает от пользователя требование на перемещение в упомянутом виртуальном пространстве выведенного на дисплей изображения, и
упомянутый блок обработки выведенного на дисплей изображения направляет выведенное на дисплей изображение в соответствующую область, когда выведенное на дисплей изображение входит внутрь заранее заданного диапазона упомянутой области, как результат требования от пользователя на перемещение выведенного на дисплей изображения.

3. Устройство обработки изображений в соответствии с п. 1 или 2, отличающееся тем, что область внутри иерархических данных, определенная упомянутым файлом определения сценария, является прямоугольником, который имеет заданное отношение длины к высоте.

4. Устройство обработки изображений в соответствии с п. 1 или 2, отличающееся тем, что упомянутый файл определения сценария назначает несколько областей, расположенных на плоскости изображения и имеющих один и тот же уровень разрешения.

5. Устройство обработки изображений в соответствии с п. 1 или 2, отличающееся тем, что упомянутый файл определения сценария назначает несколько областей из изображений, содержащихся в тех же самых иерархических данных и имеющих различные уровни разрешения.

6. Устройство обработки изображений в соответствии с п. 1 или 2, отличающееся тем, что упомянутая память хранит также файл определения связей, который устанавливает соответствие между собой заранее заданных областей внутри различающихся наборов иерархических данных в упомянутом виртуальном пространстве,
область, указанная упомянутым файлом определения сценария, содержит несколько областей внутри нескольких наборов иерархических данных, для которых установлено соответствие между собой упомянутым файлом определения связей, и
когда выведенное на дисплей изображение входит внутрь заранее заданного диапазона области, которая определена в иерархических данных, выведенных на дисплей в текущий момент времени, и которая определена в упомянутом файле определения связей, выведенное на дисплей изображение переключается на другую область, для которой было определено соответствие этой области и которая была определена в другом наборе иерархических данных.

7. Устройство обработки изображений в соответствии с п. 1, отличающееся тем, что упомянутый файл определения сценария определяет также последовательность вывода на дисплей нескольких назначенных областей, и
когда упомянутый блок получения входной информации принимает от пользователя требование на запуск непрерывного вывода на дисплей, то упомянутый блок обработки выведенного на дисплей изображения обращается к упомянутому файлу определения сценария и непрерывно выводит на дисплей несколько назначенных областей в определенном порядке вывода.

8. Устройство обработки изображений в соответствии с п. 1, отличающееся тем, что упомянутый блок получения входной информации принимает также от пользователя запрос на регистрацию в упомянутом файле определения сценария области изображения, выведенной на дисплей в текущий момент времени, и
упомянутое устройство обработки изображений содержит также блок регистрации определяющей информации, который регистрирует полученные области в упомянутом файле определения сценария.

9. Способ обработки изображений для вывода на дисплей, по меньшей мере, части изображения, отличающийся тем, что содержит:
этап считывания данных изображения из запоминающего устройства и рендеринга изображения на дисплее;
этап получения от пользователя требования на перемещение выведенного на дисплей изображения, которое может быть требованием на увеличение, уменьшение или параллельный перенос выведенной на дисплей области в изображении, выведенном в текущий момент времени; и
этап направления выведенного на дисплей изображения в область и с уровнем разрешения, заранее заданными в памяти, в соответствии с требованием на перемещение упомянутого выведенного на дисплей изображения.

10. Носитель записи, на котором записана компьютерная программа, обеспечивающая исполнение компьютером функции вывода на дисплей, по меньшей мере, части изображения, отличающийся тем, что носитель записи обеспечивает исполнение компьютером:
функции считывания из запоминающего устройства данных изображения и рендеринга изображения на дисплее; и
функции получения от пользователя требования на перемещение выведенного на дисплей изображения, которое может быть требованием на увеличение, уменьшение или параллельный перенос выведенной на дисплей области в изображении, выведенном в текущий момент времени; и
функции направления выведенного на дисплей изображения в область и с уровнем разрешения, заранее заданными в памяти, в соответствии с требованием на перемещение упомянутого выведенного на дисплей изображения.

11. Устройство обработки изображений, которое выводит на дисплей, по меньшей мере, часть изображения, отличающееся тем, что содержит:
запоминающее устройство, хранящее иерархические данные, которые являются представлениями одного и того же изображения с различными уровнями разрешения и которые иерархически организованы в порядке разрешения; и
память, хранящую файл определения связей, который устанавливает соответствие между собой определенных областей внутри различных наборов упомянутых иерархических данных в виртуальном пространстве, определенном плоскостью изображения и осью уровней разрешения; и
блок получения входной информации, принимающий от пользователя входные данные требования, которые относятся к перемещению выведенного на дисплей изображения; и
блок обработки выведенного на дисплей изображения, который направляет выведенное на дисплей изображение в область, указанную в упомянутом файле определения связей, когда от пользователя получены заранее заданные входные данные требования.

12. Устройство обработки изображений в соответствии с п. 11, отличающееся тем, что область внутри иерархических данных, определенная упомянутым файлом определения связей, является прямоугольником, который имеет заданное отношение длины к высоте.

13. Устройство обработки изображений в соответствии с п. 11 или 12, отличающееся тем, что:
в упомянутом файле определения связей для каждой пары соответствующих областей, для которых определено соответствие между собой, записывается, произошло ли в действительности переключение выведенного на дисплей изображения, в зависимости от того, изменилось ли первоначально выведенное на дисплей изображение в направлении увеличения или уменьшения, и
упомянутый блок обработки выведенного на дисплей изображения, базируясь на требовании пользователя на перемещение выведенного на дисплей изображения, переключает выведенное на дисплей изображение, в случае когда определено, что действительно произошло переключение выведенного на дисплей изображения.

14. Устройство обработки изображений в соответствии с п. 11 или 12, отличающееся тем, что:
содержит также блок обработки предвыборки, который предсказывает последующее перемещение выведенного на дисплей изображения, базируясь на требовании пользователя на перемещение выведенного на дисплей изображения, принятом упомянутым блоком получения входной информации, и
упомянутый блок обработки выведенного на дисплей изображения начинает декодировать область другого набора иерархических данных, которой поставлено в соответствие упомянутая область, когда упомянутым блоком предвыборки предсказывается ввод выведенного на дисплей изображения внутрь определенного диапазона области, которая определена в выведенных в текущий момент иерархических данных и задана в упомянутом файле определения связей.

15. Устройство обработки изображений в соответствии с п. 11 или 12, отличающееся тем, что:
иерархические данные, хранящиеся в упомянутом запоминающем устройстве, организованы в блоки изображений, которые образованы разделением изображений в соответствии с заранее заданным правилом,
устройство обработки изображений содержит также блок загрузки, который загружает в упомянутую память из упомянутого запоминающего устройства блок изображения, имеющийся в выведенных в текущий момент иерархических данных и содержащий точку на заранее заданном расстоянии от выведенного изображения в упомянутом виртуальном пространстве,
и когда упомянутая точка расположена внутри заранее заданного диапазона области, которая определена в иерархических данных, выведенных на дисплей в текущий момент времени, и которая определена в упомянутом файле определения связей, упомянутый блок загрузки преобразует координаты упомянутой точки в координаты, определенные в другом наборе иерархических данных, которым поставлена в соответствие упомянутая область в иерархических данных, выведенных на дисплей в текущий момент времени, и загружает блок изображения, расположенный в других иерархических данных, содержащих упомянутую точку.

16. Устройство обработки изображений в соответствии с п. 11, отличающееся тем, что иерархические данные, определенные в упомянутом файле определения связей, содержат в себе данные движущегося изображения, состоящие из одного иерархического слоя.

17. Устройство обработки изображений в соответствии с п. 11, отличающееся тем, что:
к иерархическим данным, хранящимся в упомянутом запоминающем устройстве, присоединена атрибутивная информация для управления рендерингом этих иерархических данных, и
упомянутый блок обработки выведенного на дисплей изображения считывает упомянутую атрибутивную информацию иерархических данных, являющихся объектом вывода, когда происходит переключение выведенного на дисплей изображения, и обеспечивает изменение режима вывода на дисплей, базируясь на этой информации и в соответствии с заранее заданным правилом.

18. Способ обработки изображений для вывода на дисплей, по меньшей мере, части изображения, отличающийся тем, что включает в себя:
этап считывания данных изображения из запоминающего устройства и рендеринга изображения на дисплее; и
этап получения от пользователя требования на перемещение выведенного на дисплей изображения, которое может быть требованием на увеличение, уменьшение или параллельный перенос области в изображении, выведенном на дисплей в текущий момент времени; и
этап переключения области вывода изображения на заранее заданную область другого изображения, которой предварительно поставлена в соответствие область в выведенном в текущий момент времени изображении, когда выведенное на дисплей изображение достигнет области и уровня разрешения, заранее заданных в памяти.

19. Способ обработки изображений в соответствии с п. 18, отличающийся тем, что заранее заданная область упомянутого другого изображения содержит в себе область вывода на дисплей движущегося изображения.

20. Носитель записи, на котором записана компьютерная программа, обеспечивающая исполнение компьютером функции вывода на дисплей, по меньшей мере, части изображения, отличающийся тем, что носитель записи обеспечивает исполнение компьютером:
функции считывания из запоминающего устройства данных изображения и рендеринга изображения на дисплее; и
функции получения от пользователя требования на перемещение выведенного на дисплей изображения, которое может быть требованием на увеличение, уменьшение или параллельный перенос области в изображении, выведенном на дисплей в текущий момент времени; и
функции переключения области вывода изображения на заранее заданную область другого изображения, которой предварительно поставлена в соответствие область в выведенном в текущий момент времени изображении, когда выведенное на дисплей изображение достигнет области и уровня разрешения, заранее заданных в памяти.

21. Устройство обработки изображений, которое выводит на дисплей, по меньшей мере, часть изображения, отличающееся тем, что содержит:
запоминающее устройство, хранящее иерархические данные, образованные данными изображений, которые являются представлениями одного и того же изображения с различными уровнями разрешения и которые иерархически организованы в порядке разрешения; и
память, хранящую файл определения связей, который определяет соответствие между, по меньшей мере, двумя наборами упомянутых иерархических данных и наряду с этим определяет условия переключения выведенного на дисплей изображения между упомянутыми иерархическими данными; и
блок оценки связей, который при обращении к упомянутому файлу определения связей выносит суждение о выполнении или невыполнении упомянутого условия переключения выведенного на дисплей изображения во время вывода на дисплей изображения любого набора иерархических данных; и
блок обработки выведенного на дисплей изображения, который переключает выведенное изображение на изображение из другого набора иерархических данных, которому поставлен в соответствие упомянутый набор иерархических данных, выведенный в текущий момент, в случае если упомянутым блоком оценки связей вынесено суждение о выполнении условия переключения.

22. Устройство обработки изображений в соответствии с п. 21, отличающееся тем, что:
содержит также блок получения входной информации, принимающий от пользователя входные данные требования на перемещение, которое может быть требованием на увеличение, уменьшение или параллельный перенос области изображения, выведенного на дисплей в текущий момент времени,
где упомянутый блок оценки связей при возникновении упомянутого требования на перемещение изображения выносит, как результат этого запроса на перемещение, суждение о выполнении или невыполнении упомянутого условия переключения выведенного на дисплей изображения.

23. Устройство обработки изображений в соответствии с п. 22, отличающееся тем, что:
в упомянутом файле определения связей определяется, в качестве упомянутого условия переключения выведенного на дисплей изображения, момент, когда выведенное на дисплей изображение достигает заранее заданных области и уровня разрешения.

24. Устройство обработки изображений в соответствии с п. 21, отличающееся тем, что:
иерархические данные, для которых определено отображение в упомянутом файле определения связей, содержат данные движущегося изображения, и
упомянутый блок обработки выведенного на дисплей изображения выводит на дисплей движущиеся изображения.

25. Устройство обработки изображений в соответствии с п. 24, отличающееся тем, что содержит также блок декодирования, который начинает декодирование упомянутых данных движущихся изображений, в случае когда иерархическим данным, выведенным на дисплей в текущий момент времени, поставлены в соответствие данные движущихся изображений независимо от суждения, вынесенного упомянутым блоком оценки связей.

26. Устройство обработки изображений в соответствии с п. 22, отличающееся тем, что:
содержит также блок обработки предвыборки, который предсказывает последующее перемещение выведенного на дисплей изображения, базируясь на требовании пользователя на перемещение выведенного на дисплей изображения, принятого от упомянутого блока получения входной информации; и
содержит также блок декодирования, который начинает декодирование данных упомянутых движущихся изображений, когда упомянутым блоком предвыборки предсказывается, что упомянутое выведенное на дисплей изображение удовлетворяет упомянутому требованию переключения, и в случае, когда для иерархических данных, выведенных на дисплей в текущий момент времени, в упомянутом файле определения связей определено соответствие в данных движущихся изображений.

27. Устройство обработки изображений в соответствии с п. 21, отличающееся тем, что упомянутый блок обработки выведенного на дисплей изображения при переключении выведенного на дисплей изображения создает один из визуальных эффектов, выбираемых среди монтажного перехода, наплыва, вытеснения и переключения страниц, с использованием многоугольной сетки, в изображении до переключения и в изображении после переключения.

28. Способ обработки изображений для вывода на дисплей, по меньшей мере, части изображения, отличающийся тем, что содержит:
этап считывания из запоминающего устройства многих наборов данных изображений в качестве объектов обработки, между которыми предварительно установлено соответствие в памяти; и
этап вывода на дисплей, по меньшей мере, одного из упомянутых нескольких наборов данных изображений; и
этап получения от пользователя требования на перемещение выведенного на дисплей изображения, которое может быть требованием на увеличение, уменьшение или параллельный перенос выведенной на дисплей области в изображении, выведенном в текущий момент времени; и
этап переключения вывода на данные другого изображения, для которых предварительно установлено соответствие данным изображения, выведенного на дисплей в текущий момент времени, когда выведенное на дисплей изображение удовлетворяет требованиям, заранее заданным в памяти.

29. Носитель записи, на котором записана компьютерная программа, обеспечивающая исполнение компьютером функции вывода на дисплей, по меньшей мере, части изображения, отличающийся тем, что обеспечивает исполнение на компьютере:
функции считывания из запоминающего устройства нескольких наборов данных изображений в качестве объектов обработки, которым предварительно определено однозначное соответствие в памяти; и
функции вывода на дисплей, по меньшей мере, одного из упомянутых нескольких наборов данных изображений; и
функции получения от пользователя требования на перемещение выведенного на дисплей изображения, которое может быть требованием на увеличение, уменьшение или параллельный перенос выведенной на дисплей области в изображении, выведенном на дисплей в текущий момент времени; и
функции переключения вывода на дисплей на данные другого изображения, для которых предварительно установлено соответствие данным изображения, выведенного на дисплей в текущий момент времени, когда выведенное на дисплей изображение удовлетворяет требованиям, заранее заданным в памяти.

30. Устройство обработки информации, отличающееся тем, что:
содержит блок получения входной информации, который обеспечивает получение от пользователя входных данных требования по выбору нескольких индивидуальных изображений, и
содержит блок регистрации определяющей информации, генерирующий данные индексного изображения, в котором расположены в заранее заданном формате выбранные несколько индивидуальных изображений; и
каждое из упомянутых нескольких индивидуальных изображений представляют собой иерархическую структуру данных, содержащую данные изображения с различными уровнями разрешения и иерархически организованную в порядке уровней разрешения; и
упомянутый блок регистрации определяющей информации определяет соответствие между областью в упомянутом индексном изображении, в которой расположено индивидуальное изображение, и иерархическими данными индивидуального изображения, расположенного в этой области, генерирует файл определения связей для осуществления переключения данных, используемых при рендеринге выводимого на дисплей изображения, от индексного изображения на индивидуальное изображение, и выдает сгенерированный файл определения связей в память.

31. Устройство обработки информации в соответствии с п. 30, отличающееся тем, что упомянутый блок регистрации определяющей информации генерирует в качестве упомянутых иерархических данных упомянутые данные индексного изображения.

32. Устройство обработки информации в соответствии с п. 30, отличающееся тем, что упомянутый блок регистрации определяющей информации генерирует данные упомянутого индексного изображения посредством вложения упомянутых индивидуальных изображений с предварительно заданным уровнем разрешения в предварительно заданные области иерархических данных, которые сгенерированы предварительно.

33. Устройство обработки информации в соответствии с п. 30, отличающееся тем, что упомянутые индивидуальные изображения содержат в себе движущиеся изображения.

34. Устройство обработки информации в соответствии с п. 30, отличающееся тем, что упомянутый блок регистрации определяющей информации генерирует также файл определения сценария, к которому обращаются для переключения выведенных на дисплей изображений между многими областями, которые получены вводом нескольких заранее выбранных областей от пользователя, и определенных в данных изображений, состоящих из упомянутого индексного изображения и упомянутых индивидуальных изображений, и для идентификации координат нескольких заранее выбранных областей в виртуальном пространстве, определенном плоскостью изображений и осью уровней разрешения, и регистрации идентифицированных координат.

35. Устройство обработки информации в соответствии с п. 34, отличающееся тем, что генерирует также файл, содержащий данные упомянутых индексных изображений и данные упомянутых индивидуальных изображений или информацию, относящуюся к области хранения этих данных изображений, упомянутый индексный файл и упомянутый файл определения сценария.

36. Устройство обработки информации в соответствии с п. 35, отличающееся тем, что в упомянутом файле содержится также атрибутивная информация, управляющая выводом на дисплей иерархических данных.

37. Устройство обработки информации в соответствии с п. 35 или 36, отличающееся тем, что упомянутое индексное изображение является начальным изображением, выведенным на экран, когда в упомянутом устройстве обработки изображений обрабатывается или отображается контент, образованный посредством упомянутого файла.

38. Способ обработки информации, отличающийся тем, что:
содержит этап получения входной информации, на котором принимаются пользователя входные данные требования по выбору нескольких индивидуальных изображений, и
содержит этап генерации данных индексного изображения, содержащего несколько выбранных индивидуальных изображений, считанных из запоминающего устройства, в котором считываемые изображения расположены в заранее заданном формате, и передачи сгенерированных данных в память;
при этом каждое из упомянутых нескольких индивидуальных изображений представляют собой иерархическую структуру данных, содержащую данные изображений с различными уровнями разрешения и иерархически организованную в порядке уровней разрешения; и
на упомянутом этапе генерации и передачи данных определяется соответствие между областями, в которых расположены индивидуальные изображения в упомянутом индексном изображении, и иерархическими данными индивидуальных изображений, расположенных в этой области, а также генерируется и выдается файл определения связей для осуществления переключения данных, используемых при рендеринге выводимого на дисплей изображения, из индексного изображения на индивидуальные изображения.

39. Носитель записи, на котором записана компьютерная программа, отличающийся тем, что обеспечивает исполнение компьютером:
функции получения входной информации, принимающей от пользователя входные данные требования по выбору нескольких индивидуальных изображений, и
функции генерации данных индексного изображения, содержащего несколько выбранных индивидуальных изображений, считанных из запоминающего устройства, в котором считываемые изображения расположены в заранее заданном формате, и передачи сгенерированных данных в память;
при этом каждое из упомянутых нескольких индивидуальных изображений представляют собой иерархическую структуру данных, содержащую данные изображений с различными уровнями разрешения и иерархически организованную в порядке уровней разрешения; и
на упомянутом этапе генерации и передачи данных определяется соответствие между областями, в которых расположены индивидуальные изображения в упомянутом индексном изображении, и иерархическими данными индивидуальных изображений, расположенных в этой области, а также генерируется и выдается файл определения связей для осуществления переключения данных, используемых при рендеринге выводимого на дисплей изображения, из индексного изображения на индивидуальные изображения.