Способ кодирования изображений, способ декодирования изображений, устройство кодирования изображений, устройство декодирования изображений и устройство кодирования и декодирования изображений

Изобретение относится к области кодирования и декодирования изображений. Техническим результатом является эффективное кодирование и декодирование изображений в расчете на блок. Раскрыт способ кодирования изображений для кодирования изображения в расчете на единицу кодирования, при этом способ содержит: применение преобразования частоты к данным яркости и данным цветности единиц преобразования в единице кодирования, включающей в себя предварительно определенные блоки, каждый соответствует одной или более из единиц преобразования (этап S501); и кодирование данных яркости и данных цветности, к которым применено преобразование частоты, чтобы формировать поток битов, в котором данные яркости и данные цветности группируются в расчете на предварительно определенный блок (этап S502). 5 н. и 14 з.п. ф-лы, 39 ил.

 

ОБЛАСТЬ ТЕХНИКИ

[0001] Изобретение относится к способам кодирования изображений для кодирования изображения в расчете на блок и к способам декодирования изображений для декодирования изображения в расчете на блок.

УРОВЕНЬ ТЕХНИКИ

[0002] Непатентный документ (NPL) 1 раскрывает технологию, связанную со способом кодирования изображений для кодирования изображения (включающего в себя движущееся изображение) в расчете на блок и со способом декодирования изображений для декодирования изображения в расчете на блок.

СПИСОК ССЫЛОК

ПАТЕНТНЫЕ ДОКУМЕНТЫ

[0003] NPL 1. ISO/IEC 14496-10 "MPEG-4 Part 10 Advanced Video Coding"

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ЗАДАЧА

[0004] Тем не менее, некоторые традиционные способы кодирования изображений и способы декодирования изображений включают в себя неэффективные процессы.

[0005] Таким образом, настоящее изобретение предоставляет способ кодирования изображений для эффективного кодирования изображения и способ декодирования изображений для эффективного декодирования изображения.

РЕШЕНИЕ ЗАДАЧИ

[0006] Способ кодирования изображений для кодирования изображения в расчете на единицу кодирования согласно одному варианту осуществления настоящего изобретения включает в себя: применение преобразования частоты к данным яркости и данным цветности единиц преобразования в единице кодирования, включающей в себя предварительно определенные блоки, каждый соответствует одной или более из единиц преобразования; и кодирование данных яркости и данных цветности, к которым применено преобразование частоты, чтобы формировать поток битов, в котором данные яркости и данные цветности группируются в расчете на предварительно определенный блок.

[0007] Эти общие и конкретные аспекты могут быть реализованы с использованием системы, устройства, интегральной схемы, компьютерной программы или невременного считываемого компьютером носителя записи, такого как CD-ROM, либо любой комбинации систем, устройств, способов, интегральных схем, компьютерных программ или считываемых компьютером носителей записи.

ПРЕИМУЩЕСТВА ИЗОБРЕТЕНИЯ

[0008] Способ кодирования изображений и способ декодирования изображений согласно настоящему изобретению предоставляют способ для эффективного кодирования или декодирования изображения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0009] Фиг. 1 иллюстрирует традиционный поток битов.

Фиг. 2 является блок-схемой, иллюстрирующей конфигурацию устройства кодирования изображений согласно первому варианту осуществления.

Фиг. 3 иллюстрирует поток битов согласно первому варианту осуществления.

Фиг. 4 является блок-схемой последовательности операций способа, иллюстрирующей операцию кодирования согласно первому варианту осуществления.

Фиг. 5 иллюстрирует поток битов согласно модификации первого варианта осуществления.

Фиг. 6 является блок-схемой последовательности операций способа, иллюстрирующей операцию кодирования согласно модификации первого варианта осуществления.

Фиг. 7 является блок-схемой, иллюстрирующей конфигурацию устройства кодирования изображений согласно второму варианту осуществления.

Фиг. 8 иллюстрирует поток битов согласно второму варианту осуществления.

Фиг. 9 является блок-схемой последовательности операций способа, иллюстрирующей операцию кодирования согласно второму варианту осуществления.

Фиг. 10 иллюстрирует разделение и выделение обработки для нескольких единиц вычисления согласно второму варианту осуществления.

Фиг. 11 является блок-схемой, иллюстрирующей конфигурацию устройства декодирования изображений согласно третьему варианту осуществления.

Фиг. 12 является блок-схемой последовательности операций способа, иллюстрирующей операцию декодирования согласно третьему варианту осуществления.

Фиг. 13 является блок-схемой, иллюстрирующей конфигурацию устройства декодирования изображений согласно четвертому варианту осуществления.

Фиг. 14 является блок-схемой последовательности операций способа, иллюстрирующей операцию декодирования согласно четвертому варианту осуществления.

Фиг. 15A является блок-схемой, иллюстрирующей конфигурацию устройства кодирования изображений согласно пятому варианту осуществления.

Фиг. 15B является блок-схемой последовательности операций способа, иллюстрирующей операцию кодирования согласно пятому варианту осуществления.

Фиг. 16A является блок-схемой, иллюстрирующей конфигурацию устройства декодирования изображений согласно пятому варианту осуществления.

Фиг. 16B является блок-схемой последовательности операций способа, иллюстрирующей операцию декодирования согласно пятому варианту осуществления.

Фиг. 17 показывает общую конфигурацию системы предоставления контента для реализации услуг распространения контента.

Фиг. 18 показывает общую конфигурацию цифровой широковещательной системы.

Фиг. 19 является блок-схемой, иллюстрирующей пример конфигурации телевизионного приемника.

Фиг. 20 показывает блок-схему, иллюстрирующую пример конфигурации модуля воспроизведения/записи информации, который считывает и записывает информацию с и на носитель записи, который является оптическим диском.

Фиг. 21 показывает пример конфигурации носителя записи, который является оптическим диском.

Фиг. 22A показывает пример сотового телефона.

Фиг. 22B является блок-схемой, показывающей пример конфигурации сотового телефона.

Фиг. 23 показывает структуру мультиплексированных данных.

Фиг. 24 показывает то, как мультиплексировать каждый поток в мультиплексированных данных.

Фиг. 25 подробнее показывает то, как сохранять видеопоток в потоке PES-пакетов.

Фиг. 26 показывает структуру TS-пакетов и исходных пакетов в мультиплексированных данных.

Фиг. 27 показывает структуру данных PMT.

Фиг. 28 показывает внутреннюю структуру информации мультиплексированных данных.

Фиг. 29 показывает внутреннюю структуру информации атрибутов потока.

Фиг. 30 показывает этапы для идентификации видеоданных.

Фиг. 31 показывает пример конфигурации интегральной схемы для реализации способа кодирования движущихся изображений и способа декодирования движущихся изображений согласно каждому из вариантов осуществления.

Фиг. 32 показывает конфигурацию для переключения между частотами возбуждения.

Фиг. 33 показывает этапы для идентификации видеоданных и переключения между частотами возбуждения.

Фиг. 34 показывает пример таблицы поиска, в которой стандарты видеоданных ассоциированы с частотами возбуждения.

Фиг. 35A является схемой, показывающей пример конфигурации для совместного использования модуля процессора сигналов.

Фиг. 35B является схемой, показывающей другой пример конфигурации для совместного использования модуля процессора сигналов.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0010] ЛЕЖАЩИЕ В ОСНОВЕ ЗНАНИЯ, ФОРМИРУЮЩИЕ БАЗИС НАСТОЯЩЕГО ИЗОБРЕТЕНИЯ

Относительно технологии, связанной с устройством кодирования изображений для кодирования изображения в расчете на блок и устройством декодирования изображений для декодирования изображения в расчете на блок, раскрытой в разделе "Уровень техники", авторы изобретения выявили следующую проблему.

[0011] В последние годы наблюдается быстрое развитие технологий на основе цифрового видеооборудования. Способность сжимать видеосигнал (множество изображений, размещаемых во временных рядах), вводимый из видеокамеры или тюнера телевизионного приемника, и сохранять сжатый сигнал на записываемом носителе, таком как DVD или жесткий диск, стала общепринятой.

[0012] Когда кодируется видеосигнал, данные изображений, в общем, демультиплексируются в информацию яркости (Y), первую информацию цветности (U) и вторую информацию цветности (V). Преобразование частоты применяется к каждой из них, и полученное в качестве результата значение коэффициента кодируется с использованием технологии кодирования, такой как кодирование с переменной длиной слова или арифметическое кодирование.

[0013] Если конкретнее, одно изображение сегментируется на единицы кодирования (в дальнейшем называемые CU), CU дополнительно сегментируется на единицы преобразования (в дальнейшем называемые TU), после чего преобразование частоты применяется к каждой из Y, U и V в TU. Поток битов затем формируется посредством комбинирования результатов кодирования Y, U и V. Кроме того, при декодировании значение коэффициента каждой из Y, U и V декодируется из потока битов, и информация изображений для каждой из Y, U и V получается из значений коэффициентов посредством обратного преобразования.

[0014] Следует отметить, что CU является единицей данных для кодирования изображения, которая соответствует макроблоку согласно стандартам кодирования видео H.264/AVC и MPEG-4 AVC (см. NPL 1). CU включается в изображение или в срез в изображении. Наибольшая единица кодирования (в дальнейшем называемая LCU) является квадратом предварительно определенного фиксированного размера. CU является квадратом, меньшим предварительно определенного фиксированного размера. Две CU в идентичном изображении или в идентичном срезе могут быть квадратами различных размеров.

[0015] Например, каждый из четырех блоков, заданных посредством сегментирования квадрата предварительно определенного фиксированного размера в изображении или срезе на четыре части, может обозначаться как CU. Кроме того, из множества иерархических блоков, заданных посредством сегментирования квадрата предварительно определенного фиксированного размера на четыре части на нескольких стадиях, наименьший иерархический блок может обозначаться как CU. Когда квадрат предварительно определенного фиксированного размера не сегментируется на четыре части, LCU может обозначаться как CU. Изображение кодируется в расчете на CU, и поток битов формируется в соответствии с вышеописанными обозначениями.

[0016] В традиционном примере, показанном на фиг. 1, для каждой CU каждая из Y, U и V размещаются в последовательности, и формируется поток битов. На фиг. 1, Yn является Y-информацией для TUn, Un является U-информацией для TUn, и Vn является V-информацией для TUn. Кроме того, фиг. 1 является примером формата 4:2:0, что означает то, что число пикселей в U и V составляет одну четверть от числа пикселей Y.

[0017] Тем не менее, в традиционной структуре потока битов, поскольку потоки битов U и V не могут быть выведены до тех пор, пока каждый Y в CU не будет кодирован и выведен в потоке битов, даже если ситуация обеспечивает возможность вывода потока битов U или V перед частью Y в CU, это невозможно выполнять. Другими словами, требуется буферизация. Используя (C) на фиг. 1 для пояснения, поток битов для U0 не может быть выведен до тех пор, пока поток битов для Y9 не будет выведен, требуя размещение информации в отношении U0 в буферном запоминающем устройстве или регистре. По этой причине возникает проблема в том, что требуется большее буферное запоминающее устройство или регистр.

[0018] Кроме того, при декодировании также, в то время как видео не может быть выведено до тех пор, пока Y, U и V не будут декодированы, U и V не могут быть декодированы до тех пор, пока каждая Y в CU не будет декодирована. Это означает то, что необходима буферизация результата декодирования Y. С использованием (C) на фиг. 1 для пояснения, блок T0 не может быть выведен в видео до тех пор, пока V0 не будет декодирован, требуя размещения Y0-Y9 и U0-U9 в буферном запоминающем устройстве или регистре.

[0019] Чтобы разрешать вышеописанную проблему, способ кодирования изображений для кодирования изображения в расчете на единицу кодирования согласно одному варианту осуществления настоящего изобретения включает в себя: применение преобразования частоты к данным яркости и данным цветности единиц преобразования в единице кодирования, включающей в себя предварительно определенные блоки, каждый соответствует одной или более из единиц преобразования; и кодирование данных яркости и данных цветности, к которым применено преобразование частоты, чтобы формировать поток битов, в котором данные яркости и данные цветности группируются в расчете на предварительно определенный блок.

[0020] Вследствие этого потоки битов U и V могут быть выведены даже до того, как выведены потоки битов для каждой из Y в CU, в силу этого исключая необходимость буферизовать U и V и предоставляя возможность использования буферного запоминающего устройства или регистра меньшего объема.

[0021] Например, каждый из предварительно определенных блоков может соответствовать единицам преобразования в блоке предварительно определенного размера или единице преобразования размера, превышающего или равного предварительно определенному размеру, и при кодировании, данные яркости и данные цветности могут быть кодированы, чтобы формировать поток битов, в котором данные яркости и данные цветности группируются в расчете на предварительно определенный блок.

[0022] Вследствие этого Y, U и V размещаются в потоке битов в расчете на надлежащую единицу данных, приводя к повышенной эффективности обработки.

[0023] Кроме того, например, при применении: преобразование частоты может применяться к данным яркости в расчете на единицу преобразования; когда общее число пикселей данных цветности и общее число пикселей данных яркости равны, преобразование частоты может применяться к данным цветности в расчете на единицу преобразования; и когда общее число пикселей данных цветности меньше общего числа пикселей данных яркости, преобразование частоты может применяться к данным цветности в расчете на предварительно определенный блок.

[0024] Вследствие этого преобразование частоты применяется в расчете на единицу данных к Y, U и V, причем единица данных является единицей данных, подходящей для числа пикселей. Как результат, повышается эффективность обработки.

[0025] Кроме того, например, при применении, из числа данных цветности единиц преобразования в единице кодирования, могут быть комбинированы данные цветности единиц преобразования в блоке размера, который меньше или равен предварительно определенному размеру, и преобразование частоты может применяться к комбинированным данным цветности в одном преобразовании частоты.

[0026] Вследствие этого можно не допускать становления слишком небольшой единицы данных для преобразования. Как результат, необязательно предоставлять небольшую схему преобразования. Кроме того, в отличие от случая, в котором Y должна быть задана больше наименьшего TU-размера в попытке не допускать, чтобы U или V была меньше наименьшей TU, при этой конфигурации, Y может быть задана как наименьший TU-размер, приводя к повышенной эффективности кодирования.

[0027] Кроме того, например, при применении, когда размер одной из единиц преобразования составляет предварительно определенный наименьший размер, и в единице преобразования общее число пикселей данных цветности меньше общего числа пикселей данных яркости, из числа данных цветности единиц преобразования в единице кодирования, могут быть комбинированы данные цветности единиц преобразования в блоке, включающем в себя единицу преобразования, и преобразование частоты может применяться к комбинированным данным цветности в одном преобразовании частоты.

[0028] Вследствие этого, даже когда TU-размер является наименьшим TU-размером, и число пикселей в U или V меньше числа пикселей в Y, как и в случае формата 4:2:0 или 4:2:2, ни U, ни V не меньше наименьшего TU-размера. Как результат, необязательно предоставлять схему преобразования, которая меньше наименьшей TU. Кроме того, в отличие от случая, в котором Y должна быть задана больше наименьшего TU-размера в попытке не допускать, чтобы U или V была меньше наименьшей TU, при этой конфигурации, Y может быть задана как наименьший TU-размер, приводя к повышенной эффективности кодирования.

[0029] Кроме того, например, при кодировании, данные яркости и данные цветности единиц преобразования в одном из предварительно определенных блоков могут быть кодированы, чтобы формировать поток битов, в котором в предварительно определенном блоке, данные цветности всех единиц преобразования идут после данных яркости всех единиц преобразования.

[0030] Вследствие этого U и V идут после Y, и эта последовательность сохраняется. Как результат, необязательно учитывать переключение этой последовательности. Следовательно, можно уменьшать сложность обработки изображений.

[0031] Кроме того, например, каждый из предварительно определенных блоков может соответствовать единицам преобразования в блоке предварительно определенного размера или единице преобразования размера, превышающего или равного предварительно определенному размеру при применении, преобразование частоты может применяться к данным яркости и данным цветности в расчете на единицу преобразования, и при кодировании, данные яркости и данные цветности могут быть кодированы, чтобы формировать поток битов, в котором данные яркости и данные цветности группируются в расчете на предварительно определенный блок.

[0032] Вследствие этого можно комбинировать и обрабатывать Y, U и V в соответствующие несколько блоков и вводить входные изображения практически в одном пакете для каждой из Y, U и V, за счет этого повышая эффективность передачи данных. Кроме того, изменение числа пикселей в YUV-наборе может подавляться, и скорость работы единиц вычисления может повышаться при параллельной обработке единиц YUV-данных с несколькими единицами вычисления.

[0033] Кроме того, например, каждый из предварительно определенных блоков может соответствовать различной из единиц преобразования при применении, преобразование частоты может применяться к данным яркости и данным цветности в расчете на единицу преобразования, и при кодировании, данные яркости и данные цветности могут быть кодированы, чтобы формировать поток битов, в котором данные яркости и данные цветности группируются в расчете на единицу преобразования.

[0034] Вследствие этого Y, U и V размещаются в потоке битов в простых и надлежащих единицах данных. Как результат, повышается эффективность обработки.

[0035] Кроме того, способ декодирования изображений для декодирования изображения в расчете на единицу кодирования согласно одному варианту осуществления настоящего изобретения может включать в себя: декодирование данных яркости и данных цветности единиц преобразования в единице кодирования, включающей в себя предварительно определенные блоки, каждый соответствует одной или более из единиц преобразования, причем декодирование включает в себя получение потока битов, и данные яркости и данные цветности представляют собой данные, к которым применено преобразование частоты, и которые кодированы и группированы в потоке битов в расчете на предварительно определенный блок; и применение обратного преобразования частоты к декодированным данным яркости и декодированным данным цветности.

[0036] Вследствие этого U и V могут быть декодированы даже до того, как декодирована каждая Y в CU, в силу этого исключая необходимость буферизовать результат декодирования U и V и предоставляя возможность использования буферного запоминающего устройства или регистра меньшего объема.

[0037] Например, каждый из предварительно определенных блоков может соответствовать единицам преобразования в блоке предварительно определенного размера или единице преобразования размера, превышающего или равного предварительно определенному размеру, и при декодировании может быть получен поток битов, в котором данные яркости и данные цветности группируются в расчете на предварительно определенный блок, и данные яркости и данные цветности декодируются.

[0038] Вследствие этого используется поток битов, в котором Y, U и V размещаются в надлежащих единицах данных. Как результат, повышается эффективность обработки.

[0039] Кроме того, например, при применении: обратное преобразование частоты может применяться к данным яркости в расчете на единицу преобразования; когда общее число пикселей данных цветности и общее число пикселей данных яркости равны, обратное преобразование частоты может применяться к данным цветности в расчете на единицу преобразования; и когда общее число пикселей данных цветности меньше общего числа пикселей данных яркости, обратное преобразование частоты может применяться к данным цветности в расчете на предварительно определенный блок.

[0040] Вследствие этого обратное преобразование частоты применяется в расчете на единицу данных в Y, U и V, причем единица данных является единицей данных, подходящей для числа пикселей. Как результат, повышается эффективность обработки.

[0041] Кроме того, например, при применении, обратное преобразование частоты может быть применено, из числа данных цветности единиц преобразования в единице кодирования, к данным цветности единиц преобразования в блоке размера, который меньше или равен предварительно определенному размеру в одном обратном преобразовании частоты.

[0042] Вследствие этого может исключаться сильное уменьшение единицы данных для преобразования. Как результат, необязательно предоставлять небольшую схему обратного преобразования. Кроме того, в отличие от случая, в котором Y должна быть задана больше наименьшего TU-размера в попытке не допускать, чтобы U или V был меньше наименьшей TU, при этой конфигурации, Y может быть задана как наименьший TU-размер, приводя к повышенной эффективности кодирования.

[0043] Кроме того, например, при применении, когда размер одной из единиц преобразования составляет предварительно определенный наименьший размер, и в единице преобразования общее число пикселей данных цветности меньше общего числа пикселей данных яркости, обратное преобразование частоты может применяться, из числа данных цветности единиц преобразования в единице кодирования, к данным цветности единиц преобразования в блоке, включающем в себя единицу преобразования, в одном обратном преобразовании частоты.

[0044] Вследствие этого, даже когда TU-размер является наименьшим TU-размером, и число пикселей в U или V меньше числа пикселей в Y, как и в случае формата 4:2:0 или 4:2:2, ни U, ни V не меньше наименьшего TU-размера. Как результат, необязательно предоставлять схему обратного преобразования, которая меньше наименьшей TU. Кроме того, в отличие от случая, в котором Y должна быть задана больше наименьшего TU-размера в попытке не допускать, чтобы U или V была меньше наименьшей TU, при этой конфигурации, Y может быть задана как наименьший TU-размер, приводя к повышенной эффективности кодирования.

[0045] Кроме того, например, при декодировании, может быть получен поток битов, в котором в одном из предварительно определенных блоков, данные цветности всех единиц преобразования идут после данных яркости всех единиц преобразования, и данные яркости и данные цветности единиц преобразования в предварительно определенном блоке могут быть декодированы.

[0046] Вследствие этого U и V идут после Y, и эта последовательность сохраняется. Как результат, необязательно учитывать переключение этой последовательности. Следовательно, можно уменьшать сложность обработки изображений.

[0047] Например, каждый из предварительно определенных блоков может соответствовать единицам преобразования в блоке предварительно определенного размера или единице преобразования размера, превышающего или равного предварительно определенному размеру, при декодировании может быть получен поток битов, в котором данные яркости и данные цветности группируются в расчете на предварительно определенный блок, и данные яркости и данные цветности декодируются, и при применении, обратное преобразование частоты может применяться к данным яркости и данным цветности в расчете на единицу преобразования.

[0048] Вследствие этого можно комбинировать и обрабатывать Y, U и V в соответствующие несколько блоков и выводить выходные изображения практически в одном пакете для каждой из Y, U и V, за счет этого повышая эффективность передачи данных. Кроме того, изменение числа пикселей в YUV-наборе может подавляться, и скорость работы единиц вычисления может повышаться при параллельной обработке единиц YUV-данных с несколькими единицами вычисления.

[0049] Кроме того, например, каждый из предварительно определенных блоков может соответствовать различной из единиц преобразования, при декодировании может быть получен поток битов, в котором данные яркости и данные цветности группируются в расчете на единицу преобразования, и данные яркости и данные цветности могут быть декодированы, и при применении, обратное преобразование частоты может применяться к данным яркости и данным цветности в расчете на единицу преобразования.

[0050] Вследствие этого используется поток битов, в котором Y, U и V размещаются в простых и надлежащих единицах данных. Как результат, повышается эффективность обработки.

[0051] Следует отметить, что эти общие и конкретные аспекты могут быть реализованы с использованием системы, устройства, интегральной схемы, компьютерной программы или энергонезависимого считываемого компьютером носителя записи, такого как CD-ROM, либо любой комбинации систем, устройств, интегральных схем способов, компьютерных программ или носителей записи.

[0052] В дальнейшем в этом документе, определенные примерные варианты осуществления подробнее описываются со ссылкой на прилагаемые чертежи. Каждый из примерных вариантов осуществления, описанных ниже, показывает общий или конкретный пример. Числовые значения, формы, материалы, структурные элементы, компоновка и соединение структурных элементов, этапы, порядок обработки этапов и т.д., показанные в следующих примерных вариантах осуществления, являются просто примерами, и, следовательно, не ограничивают настоящее изобретение. Следовательно, из структурных элементов в следующих примерных вариантах осуществления структурные элементы, не изложенные в любом из независимых пунктов формулы изобретения, описываются как произвольные структурные элементы.

[0053] ВАРИАНТ 1 ОСУЩЕСТВЛЕНИЯ

КОНФИГУРАЦИЯ

Фиг. 2 иллюстрирует конфигурацию устройства кодирования изображений согласно первому варианту осуществления. Устройство кодирования изображений сегментирует входные изображения на CU и TU, выполняет процесс преобразования и кодирует Y, U и V, затем выводит поток битов для них. Устройство кодирования изображений включает в себя модуль 101 сегментирования на CU, модуль 102 сегментирования на TU, модуль 103 YUV-демультиплексирования, модуль 104 комбинирования смежных блоков, модуль 105 Y-преобразования, модуль 106 U-преобразования, модуль 107 V-преобразования, кодер 108 и модуль 109 YUV-переключения.

[0054] Модуль 101 сегментирования на CU вводит изображение и сегментирует изображение согласно указанному CU-размеру. Модуль 102 сегментирования на TU сегментирует CU согласно указанному TU-размеру. Модуль 103 YUV-демультиплексирования демультиплексирует TU в Y-, U- и V-компоненты. В этом варианте осуществления формат изображений представляет собой 4:2:0. В этом формате размер U-компоненты и V-компоненты составляет одну четверть от размера Y-компоненты.

[0055] Модуль 104 комбинирования смежных блоков комбинирует смежные U-блоки и комбинирует смежные V-блоки согласно TU-размеру и наименьшему TU-размеру. Модуль 105 Y-преобразования, модуль 106 U-преобразования и модуль 107 V-преобразования выполняют процесс преобразования в отношении Y, U и V, соответственно. Кодер 108 кодирует преобразованные данные и выводит поток битов преобразованных данных. Модуль 109 YUV-переключения переключает ввод в кодер 108 согласно TU-размеру.

[0056] Фиг. 3 показывает пример потока битов. Когда CU-размер и TU-размер являются идентичными, как показано в (A), это является идентичным традиционному примеру, показанному на фиг. 1, но когда TU-размер меньше CU, как показано в (B), это отличается от традиционного примера. В этом случае, Y1, U1 и V1 в TU1 кодируются после Y0, U0 и V0 в TU0. Кроме того, когда TU-размер является наименьшим TU-размером, как TU0 в (C), формат представляет собой 4:2:0. В связи с этим, U-блоки и V-блоки меньше наименьшего TU-размера. В этом случае, соответствующие U-блоки и V-блоки в TU0, TU1, TU2 и TU3 комбинируются, и выполняется преобразование и кодирование в отношении комбинированных блоков, посредством чего формируется поток битов.

[0057] РАБОТА

Далее описывается последовательность операций кодирования со ссылкой на фиг. 4. Во-первых, модуль 101 сегментирования на CU сегментирует входное изображение согласно указанному CU-размеру, формирует CU и выводит CU в модуль 102 сегментирования на TU (этап S101). Модуль 102 сегментирования на TU сегментирует CU согласно указанному TU-размеру и выводит результат в модуль 103 YUV-демультиплексирования (этап S102). Следует отметить, что устройство кодирования изображений повторяет процессы CU (этап S102-S116) такое число раз, сколько присутствует CU в одном изображении, поскольку процессы выполняются в отношении всех CU в одном изображении.

[0058] Затем модуль 103 YUV-демультиплексирования демультиплексирует TU в Y-, U- и V-компонентах (этап S103). В этом варианте осуществления формат изображений представляет собой 4:2:0. В этом формате размер U-компоненты и V-компоненты составляет одну четверть от размера Y-компоненты. Демультиплексированные Y-компоненты выводятся в модуль 105 Y-преобразования, а U-компоненты и V-компоненты выводятся в модуль 104 комбинирования смежных блоков. Следует отметить, что устройство кодирования изображений повторяет TU-процессы (этап S103-S116) такое число раз, сколько присутствует TU в одной CU, поскольку процессы выполняются в отношении всех TU в одной CU.

[0059] Затем модуль 109 YUV-переключения переключает ввод в кодер 108 на вывод модуля 105 Y-преобразования (этап S104). Модуль 105 Y-преобразования выполняет процесс преобразования в отношении Y и выводит преобразованный результат в кодер 108 (этап S105). Кодер 108 кодирует преобразованную Y и выводит поток битов кодированной Y (этап S106).

[0060] После этого модуль 104 комбинирования смежных блоков определяет то, комбинирован ли уже текущий U-блок, который должен быть преобразован и кодирован, с другим U-блоком (этап S107). Если U-блок уже комбинирован с другим U-блоком ("Да" на этапе S107), процессы для U-блока и V-блока (этап S108-S116) пропускаются. Если U-блок еще не комбинирован с другим U-блоком ("Нет" на этапе S107), выполняется следующий процесс (этап S108).

[0061] В частности, когда U-блок еще не комбинирован с другим U-блоком ("Нет" на этапе S107), модуль 104 комбинирования смежных блоков определяет то, меньше ли размер U в TU наименьшего TU-размера (этап S108). Если размер U меньше наименьшего TU-размера ("Да" на этапе S108), выполняется процесс комбинирования U-блоков (этап S109). Если размер U не меньше наименьшего TU-размера ("Нет" на этапе S108), модуль 104 комбинирования смежных блоков выводит текущий U-блок и текущий V-блок, которые должны быть преобразованы и кодированы, в модуль 106 U-преобразования и модуль 107 V-преобразования, соответственно. Затем выполняется процесс YUV-переключения (этап S111).

[0062] Если размер U меньше наименьшего TU-размера ("Да" на этапе S108), модуль 104 комбинирования смежных блоков комбинирует текущий U-блок, который должен быть преобразован и кодирован, с тремя U-блоками, которые располагаются справа, снизу и снизу справа от него, и формирует и выводит четырехблочный комбинированный U-блок в модуль 106 U-преобразования (этап S109). Модуль 104 комбинирования смежных блоков затем комбинирует текущий V-блок, который должен быть преобразован и кодирован, с тремя V-блоками, которые располагаются справа, снизу и снизу справа от него, и формирует и выводит четырехблочный комбинированный V-блок в модуль 107 V-преобразования (этап S110).

[0063] Затем модуль 109 YUV-переключения переключает ввод в кодер 108 на вывод модуля 106 U-преобразования (этап S111). Модуль 106 U-преобразования выполняет процесс преобразования в отношении U и выводит преобразованный результат в кодер 108 (этап S112). Кодер 108 кодирует преобразованную U и выводит поток битов кодированной U (этап S113).

[0064] Затем модуль 109 YUV-переключения переключает ввод в кодер 108 на вывод модуля 107 V-преобразования (этап S114). Модуль 107 V-преобразования выполняет процесс преобразования в отношении V и выводит преобразованный результат в кодер 108 (этап S115). Кодер 108 кодирует преобразованную V и выводит поток битов кодированной V (этап S116).

[0065] РЕЗУЛЬТАТ

Согласно первому варианту осуществления, потоки битов U и V могут быть выведены даже до того, как выведены потоки битов для каждой из Y в CU, в силу этого исключая необходимость буферизовать U и V и предоставляя возможность использования буферного запоминающего устройства или регистра меньшего объема.

[0066] Кроме того, даже когда TU-размер является наименьшим TU-размером, и число пикселей в U или V меньше числа пикселей в Y, как и в случае формата 4:2:0 или 4:2:2, ни U, ни V не меньше наименьшего TU-размера. Как результат, необязательно предоставлять схему преобразования, которая меньше наименьшей TU. Кроме того, в отличие от случая, в котором Y должна быть задана больше наименьшего TU-размера в попытке не допускать, чтобы U или V был меньше наименьшей TU, при этой конфигурации, Y может быть задана как наименьший TU-размер, приводя к повышенной эффективности кодирования.

[0067] Следует отметить, что в первом варианте осуществления используется формат 4:2:0, но может быть использован 4:2:2, 4:4:4 или другой формат.

[0068] Кроме того, в первом варианте осуществления CU-размер и TU-размер вводятся извне. Тем не менее, может быть использован оптимальный размер, который вычисляется посредством вычисления эффективности кодирования размера нескольких или всех шаблонов внутри в устройстве.

[0069] Кроме того, в первом варианте осуществления комбинированные U- и комбинированные V-блоки размещаются непосредственно после потока битов для Y TU сверху слева в комбинированной TU, как показано на фиг. 3. Тем не менее, комбинированные U-блоки и комбинированные V-блоки могут быть размещены непосредственно после потока битов для Y TU снизу справа в комбинированной TU, как показано на фиг. 5. В этом случае, операция, показанная на фиг. 4, модифицируется, например, на операцию, показанную на фиг. 6.

[0070] В частности, как показано на фиг. 6, когда размер U в TU превышает или равен наименьшему TU-размеру ("Нет" на этапе S108), U- и V-блоки обрабатываются как есть (этап S111-S116).

[0071] Когда размер U в TU меньше наименьшего TU-размера ("Да" на этапе S108), и TU, которая должна быть обработана, является четвертой TU ("Да" на этапе S120), выполняются процесс комбинирования U-блоков (этап S109) и процесс комбинирования V-блоков (этап S110). Здесь четвертая TU соответствует четвертой TU, которая должна быть обработана, из четырех наименьших TU, к примеру, TU3 или TU9 на фиг. 5.

[0072] В процессе комбинирования U-блоков (этап S109) модуль 104 комбинирования смежных блоков комбинирует U-блок, который должен быть обработан, с тремя U-блоками, которые располагаются слева, сверху и сверху слева от него, и формирует четырехблочный комбинированный U-блок. Кроме того, в процессе комбинирования U-блоков (этап S110), модуль 104 комбинирования смежных блоков комбинирует V-блок, который должен быть обработан, с тремя V-блоками, которые располагаются слева, сверху и сверху слева от него, и формирует четырехблочный комбинированный V-блок. U- и V-блоки затем обрабатываются (этап S111-S116).

[0073] Когда размер U в TU меньше наименьшего TU-размера ("Да" на этапе S108), и TU, которая должна быть обработана, не является четвертой TU ("Нет" на этапе S120), обработка U- и V-блоков (этап S111-S116) пропускается. Другие операции являются идентичными операциям, показанным на фиг. 4. Таким образом, поток битов, показанный на фиг. 5, выводится в качестве результата модифицированной операции.

[0074] На фиг. 5, U и V идут после Y, и эта последовательность сохраняется. Как результат, необязательно учитывать переключение последовательности Y, U и V. Следовательно, можно уменьшать сложность обработки изображений. На фиг. 6, определяется то, является ли TU, которая должна быть обработана, четвертой TU, но может быть определено то, является ли TU, которая должна быть обработана, последней TU, которая должна быть комбинирована. Когда TU, которая должна быть обработана, является последней TU, которая должна быть комбинирована, могут быть выполнены процессы комбинирования (этап S109 и S110).

[0075] Кроме того, в первом варианте осуществления комбинируются четыре блока, но допустимо, если два блока комбинируются в формат 4:2:2. Например, могут быть комбинированы два блока горизонтально рядом друг с другом. После этого из двух блоков допустимо, если процесс комбинирования выполняется в отношении первого или второго блока, который должен быть обработан.

[0076] Кроме того, обработка, выполняемая в первом варианте осуществления может быть выполнена с помощью программного обеспечения. Программное обеспечение может распространяться посредством загрузки. Кроме того, программное обеспечение может сохраняться на носителе хранения данных, таком как CD-ROM, и распространяться. Следует отметить, что это также применимо ко всем другим вариантам осуществления по всему описанию.

[0077] ВАРИАНТ 2 ОСУЩЕСТВЛЕНИЯ

КОНФИГУРАЦИЯ

Фиг. 7 иллюстрирует конфигурацию устройства кодирования изображений согласно второму варианту осуществления. Здесь описывается только модуль 109 YUV-переключения, поскольку модуль 109 YUV-переключения отличается от первого варианта осуществления.

[0078] Модуль 109 YUV-переключения переключает ввод в кодер 108 согласно TU-размеру и указанному наименьшему размеру блока. В частности, модуль 109 YUV-переключения переключает ввод в кодер 108 в расчете на единицу данных на Y, U или V, причем единица данных представляет собой большее из TU-размера и наименьшего размера блока. Во втором варианте осуществления наименьший размер блока составляет предварительно определенный фиксированный размер, который превышает наименьший TU-размер.

[0079] Фиг. 8 показывает пример потока битов. Когда TU-размер не меньше наименьшего размера блока, к примеру, как в (A) или (B), поток битов является идентичным первому варианту осуществления, но когда TU-размер меньше наименьшего размера блока, к примеру, как в (C), он отличается от первого варианта осуществления. Здесь, для TU0-TU3, сначала U0-U3 и V0-V3 кодируются после Y0-Y3, а затем Y4, U4 и V4 для TU4.

[0080] РАБОТА

Далее описывается последовательность операций кодирования со ссылкой на фиг. 9. Во-первых, модуль 101 сегментирования на CU сегментирует входное изображение согласно указанному CU-размеру, формирует CU и выводит CU в модуль 102 сегментирования на TU (этап S201). Модуль 102 сегментирования на TU сегментирует CU согласно указанному TU-размеру и выводит результат в модуль 103 YUV-демультиплексирования (этап S202). Следует отметить, что устройство кодирования изображений повторяет процессы CU (этап S202-S222) такое число раз, сколько присутствует CU в одном изображении, поскольку процессы выполняются в отношении всех CU в одном изображении.

[0081] Затем модуль 109 YUV-переключения определяет то, меньше ли TU-размер наименьшего размера блока (этап S203). Если TU-размер меньше наименьшего размера блока ("Да" на этапе S203), выполняется процесс определения кодирования (этап S213). Если TU-размер не меньше наименьшего размера блока ("Нет" на этапе S203), выполняется процесс YUV-переключения (этап S204). Следует отметить, что устройство кодирования изображений повторяет TU-процессы (этап S203-S222) такое число раз, сколько присутствует TU в одной CU, поскольку процессы выполняются в отношении всех TU в одной CU.

[0082] Если TU-размер не меньше наименьшего размера блока ("Нет" на этапе S203), модуль 109 YUV-переключения переключает ввод в кодер 108 на вывод модуля 105 Y-преобразования (этап S204). Модуль 105 Y-преобразования выполняет процесс преобразования в отношении Y и выводит преобразованный результат в кодер 108 (этап S205). Кодер 108 кодирует преобразованную Y и выводит поток битов кодированной Y (этап S206).

[0083] Затем модуль 109 YUV-переключения переключает ввод в кодер 108 на вывод модуля 106 U-преобразования (этап S208). Модуль 106 U-преобразования выполняет процесс преобразования в отношении U и выводит преобразованный результат в кодер 108 (этап S208). Кодер 108 кодирует преобразованную U и выводит поток битов кодированной U (этап S209).

[0084] После этого модуль 109 YUV-переключения переключает ввод в кодер 108 на вывод модуля 107 V-преобразования (этап S210). Модуль 107 V-преобразования выполняет процесс преобразования в отношении V и выводит преобразованный результат в кодер 108 (этап S211). Кодер 108 кодирует преобразованную V и выводит поток битов кодированной V (этап S212).

[0085] Если TU-размер меньше наименьшего размера блока ("Да" на этапе S203), модуль 109 YUV-переключения определяет то, кодированы ли уже текущий Y-блок, U-блок и V-блок, которые должны быть преобразованы и кодированы (этап S213). Если уже кодированы ("Да" на этапе S213), процессы для TU (этап S214-S222) пропускаются. Если еще не кодированы ("Нет" на этапе S213), выполняется процесс YUV-переключения (этап S214).

[0086] В частности, если Y-, U- и V-блоки еще не кодированы ("Нет" на этапе S213), модуль 109 YUV-переключения переключает ввод в кодер 108 на вывод модуля 105 Y-преобразования (этап S214). Модуль 105 Y-преобразования выполняет процесс преобразования в отношении Y и выводит преобразованный результат в кодер 108 (этап S215). Следует отметить, что устройство кодирования изображений повторяет Y-процессы (этап S215-S216) такое число раз, сколько присутствует TU в наименьшем блоке, поскольку процессы выполняются в отношении всех TU в наименьшем блоке. Кодер 108 кодирует преобразованный Y и выводит поток битов кодированного Y (этап S216).

[0087] Затем модуль 109 YUV-переключения переключает ввод в кодер 108 на вывод модуля 106 U-преобразования (этап S217). Модуль 106 U-преобразования выполняет процесс преобразования в отношении U и выводит преобразованный результат в кодер 108 (этап S218). Следует отметить, что устройство кодирования изображений повторяет U-процессы (этап S218-S219) такое число раз, сколько присутствует TU в наименьшем блоке, поскольку процессы выполняются в отношении всех TU в наименьшем блоке. Кодер 108 кодирует преобразованную U и выводит поток битов кодированной U (этап S219).

[0088] Затем модуль 109 YUV-переключения переключает ввод в кодер 108 на вывод модуля 107 V-преобразования (этап S220). Модуль 107 V-преобразования выполняет процесс преобразования в отношении V и выводит преобразованный результат в кодер 108 (этап S221). Следует отметить, что устройство кодирования изображений повторяет V-процессы (этап S221-S222) такое число раз, сколько присутствует TU в наименьшем блоке, поскольку процессы выполняются в отношении всех TU в наименьшем блоке. Кодер 108 кодирует преобразованную V и выводит поток битов кодированной V (этап S222).

[0089] РЕЗУЛЬТАТ

Во втором варианте осуществления можно комбинировать и обрабатывать Y, U и V в соответствующие несколько блоков и вводить входные изображения практически в одном пакете для каждой из Y, U и V, за счет этого повышая эффективность передачи данных. Это является, в частности, эффективным в системе, которая использует высокоскоростное запоминающее устройство, такое как кэш-память, поскольку способность обрабатывать Y или U или V в последовательности приводит к повышению коэффициента совпадения для кэш-памяти. Кроме того, изменение числа пикселей в YUV-наборе может подавляться, и скорость работы единиц вычисления может повышаться при параллельной обработке единиц YUV-данных с несколькими единицами вычисления. Конкретный пример приводится со ссылкой на фиг. 10.

[0090] Фиг. 10 иллюстрирует систему, в которой четыре единицы вычисления используются для того, чтобы обрабатывать YUV-набор, при этом YUV-набор разделяется и выделяется единицам A-D вычисления в порядке с начала. Когда YUV согласованно размещается посредством TU-размера, к примеру, как в (A), нагрузка по обработке, требуемая от единицы C вычисления и единицы D вычисления, является небольшой по сравнению с нагрузкой по обработке для единицы A вычисления и единицы B вычисления. Следовательно, скорость работы единицы C вычисления и единицы D вычисления снижается. Тем не менее, посредством размещения YUV в расчете на единицу данных для большего из наименьшего размера блока и TU-размера, к примеру, как во втором варианте осуществления, нагрузка по обработке равна для каждой из единиц A-D вычисления, за счет этого повышая скорость работы единицы C вычисления и единицы D вычисления.

[0091] ВАРИАНТ 3 ОСУЩЕСТВЛЕНИЯ

КОНФИГУРАЦИЯ

Фиг. 11 показывает конфигурацию устройства декодирования изображений согласно третьему варианту осуществления. Устройство декодирования изображений используется при декодировании потока битов, кодированного посредством устройства кодирования изображений, описанного в первом варианте осуществления. Устройство декодирования изображений включает в себя декодер 301, модуль 302 обратного Y-преобразования, модуль 303 обратного U-преобразования, модуль 304 обратного V-преобразования, модуль 305 YUV-комбинирования, модуль 306 TU-комбинирования, модуль 307 CU-комбинирования, модуль 308 YUV-переключения и модуль 309 сегментирования смежных блоков.

[0092] Декодер 301 декодирует поток битов и выводит преобразованные YUV-данные. Модуль 302 обратного Y-преобразования, модуль 303 обратного U-преобразования и модуль 304 обратного V-преобразования выполняют процесс обратного преобразования в отношении Y, U и V, соответственно. Модуль 305 YUV-комбинирования комбинирует Y-, U- и V-компоненты. В этом варианте осуществления формат изображений представляет собой 4:2:0. В этом формате размер U-компоненты и V-компоненты составляет одну четверть от размера Y-компоненты.

[0093] Модуль 306 TU-комбинирования комбинирует TU в CU согласно указанному TU-размеру и формирует CU. Модуль 307 CU-комбинирования комбинирует CU в изображении согласно указанному CU-размеру и формирует изображение. Модуль 308 YUV-переключения переключает назначение вывода декодера 301 согласно TU-размеру. Модуль 309 сегментирования смежных блоков сегментирует результат обратного преобразования для каждой U и V четырьмя способами согласно TU-размеру и наименьшему TU-размеру.

[0094] РАБОТА

Далее описывается последовательность операций декодирования со ссылкой на фиг. 12. Во-первых, модуль 308 YUV-переключения переключает назначение вывода декодера 301 на модуль 302 обратного Y-преобразования (этап S301). Следует отметить, что устройство декодирования изображений повторяет TU-процессы (этап S301-S314) такое число раз, сколько присутствует TU в одной CU, поскольку процессы выполняются в отношении всех TU в одной CU. Кроме того, устройство декодирования изображений повторяет процессы CU (этап S301-S315) такое число раз, сколько присутствует CU в одном изображении, поскольку процессы выполняются в отношении всех CU в одном изображении.

[0095] После этого декодер 301 декодирует и выводит поток битов в модуль 302 обратного Y-преобразования (этап S302). Модуль 302 обратного Y-преобразования выполняет процесс обратного преобразования в отношении Y и выводит обратно преобразованный результат в модуль 305 YUV-комбинирования (этап S303).

[0096] Затем модуль 309 сегментирования смежных блоков определяет то, декодирован ли уже текущий U-блок, который должен быть декодирован (этап S304). Если U-блок уже декодирован ("Да" на этапе S304), процессы для U-блока и V-блока (этап S305-S313) пропускаются. Если еще не декодирован ("Нет" на этапе S304), выполняется процесс YUV-переключения (этап S305).

[0097] В частности, если U-блок еще не декодирован ("Нет" на этапе S304), модуль 308 YUV-переключения переключает вывод декодера 301 на ввод в модуль 303 обратного U-преобразования (этап S305). Затем декодер 301 декодирует и выводит поток битов в модуль 303 обратного U-преобразования (этап S306). Модуль 303 обратного U-преобразования выполняет процесс обратного преобразования в отношении U и выводит обратно преобразованный результат в модуль 309 сегментирования смежных блоков (этап S307).

[0098] После этого модуль 308 YUV-переключения переключает назначение вывода декодера 301 на модуль 304 обратного V-преобразования (этап S308). Декодер 301 затем декодирует и выводит поток битов в модуль 304 обратного V-преобразования (этап S309). Модуль 304 обратного V-преобразования выполняет процесс обратного преобразования в отношении V и выводит обратно преобразованный результат в модуль 309 сегментирования смежных блоков (этап S310).

[0099] Затем модуль 309 сегментирования смежных блоков определяет то, меньше ли размер U в TU наименьшего TU-размера (этап S311). Если размер U меньше наименьшего TU-размера ("Да" на этапе S311), выполняется процесс сегментирования U-блоков (этап S312). Если размер U не меньше наименьшего TU-размера ("Нет" на этапе S311), обратно преобразованный результат входных U и V выводится в модуль 305 YUV-комбинирования в качестве, и выполняется процесс YUV-комбинирования (этап S314).

[0100] Если размер U меньше наименьшего TU-размера ("Да" на этапе S311), модуль 309 сегментирования смежных блоков сегментирует обратно преобразованный U-блок пополам по высоте и по длине, что приводит к четырем сегментированным частям, и выводит результат в модуль 305 YUV-комбинирования (этап S312). Модуль 309 сегментирования смежных блоков сегментирует обратно преобразованный V-блок пополам по высоте и по длине, что приводит к четырем сегментированным частям, и выводит результат в модуль 305 YUV-комбинирования (этап S313).

[0101] Модуль 305 YUV-комбинирования комбинирует Y-, U- и V-компоненты и формирует пиксельное TU-значение (этап S314). Модуль 306 TU-комбинирования комбинирует TU в CU и формирует CU (этап S315). Модуль 307 CU-комбинирования комбинирует CU в изображении и формирует изображение (этап S316).

[0102] РЕЗУЛЬТАТ

В третьем варианте осуществления можно декодировать U и V даже до того, как декодирован каждый Y в CU, в силу этого исключая необходимость буферизовать результат декодирования U и V и предоставляя возможность использования буферного запоминающего устройства или регистра меньшего объема.

[0103] Кроме того, даже когда TU-размер является наименьшим TU-размером, и число пикселей в U или V меньше числа пикселей в Y, как и в случае формата 4:2:0 или 4:2:2, ни U, ни V не меньше наименьшего TU-размера. Как результат, необязательно предоставлять схему обратного преобразования, которая меньше наименьшей TU. Кроме того, в отличие от случая, в котором Y должен быть задан больше наименьшего TU-размера в попытке не допускать, чтобы U или V был меньше наименьшей TU, при этой конфигурации, Y может быть задан как наименьший TU-размер, приводя к повышенной эффективности кодирования.

[0104] Следует отметить, что в третьем варианте осуществления используется формат 4:2:0, но может быть использован 4:2:2, 4:4:4 или другой формат. Когда используется формат 4:2:2, модуль 309 сегментирования смежных блоков может сегментировать U- и V-блоки по высоте на две части вместо сегментирования U- и V-блоков на четыре части (этап S312 и S313 на фиг. 12).

[0105] Кроме того, в третьем варианте осуществления CU-размер и TU-размер вводятся извне. Тем не менее, CU-размер и TU-размер могут присутствовать в потоке битов. Декодер 301 может декодировать и получать CU-размер и TU-размер.

[0106] Кроме того, когда используется поток битов, показанный на фиг. 5, модуль 309 сегментирования смежных блоков может определять то, присутствует ли U-блок, который должен быть обработан, вместо определения того, U-блок уже декодирован или нет (этап S304 на фиг. 12). Если U-блок, который должен быть обработан, не присутствует, устройство декодирования изображений может пропускать U- и V-процессы (этап S305-S314 на фиг. 12). Вследствие этого устройство декодирования изображений может декодировать поток битов, показанный на фиг. 5, так же, как оно может декодировать поток битов, показанный на фиг. 3.

[0107] ВАРИАНТ 4 ОСУЩЕСТВЛЕНИЯ

КОНФИГУРАЦИЯ

Фиг. 13 показывает конфигурацию устройства декодирования изображений согласно четвертому варианту осуществления. Устройство декодирования изображений используется при декодировании потока битов, кодированного посредством устройства кодирования изображений, описанного во втором варианте осуществления. Здесь описывается только модуль 308 YUV-переключения, поскольку модуль 308 YUV-переключения отличается от третьего варианта осуществления.

[0108] Модуль 308 YUV-переключения переключает назначение вывода декодера 301 согласно TU-размеру и указанному наименьшему размеру блока. В частности, модуль YUV-переключения переключает вывод декодера 301 в расчете на единицу данных на модуль 302 обратного Y-преобразования, модуль 303 обратного U-преобразования или модуль 304 обратного V-преобразования. Здесь единица данных представляет собой большее из TU-размера и наименьшего размера блока.

[0109] РАБОТА

Далее описывается последовательность операций декодирования со ссылкой на фиг. 14. Во-первых, модуль 308 YUV-переключения определяет то, меньше ли TU-размер наименьшего размера блока (этап S401). Если TU-размер меньше наименьшего размера блока ("Да" на этапе S401), выполняется процесс определения декодирования (этап S411). Если TU-размер не меньше наименьшего размера блока ("Нет" на этапе S401), выполняется процесс YUV-переключения (этап S402).

[0110] Следует отметить, что устройство декодирования изображений повторяет TU-процессы (этап S401-S421) такое число раз, сколько присутствует TU в одной CU, поскольку процессы выполняются в отношении всех TU в одной CU. Кроме того, устройство декодирования изображений повторяет процессы CU (этап S401-S422) такое число раз, сколько присутствует CU в одном изображении, поскольку процессы выполняются в отношении всех CU в одном изображении.

[0111] После того как выполнено определение, когда TU-размер не меньше наименьшего размера блока ("Нет" на этапе S401), модуль 308 YUV-переключения переключает назначение вывода декодера 301 на модуль 302 обратного Y-преобразования (этап S402). Затем декодер 301 декодирует и выводит поток битов в модуль 302 обратного Y-преобразования (этап S403). Модуль 302 обратного Y-преобразования выполняет процесс обратного преобразования в отношении Y и выводит обратно преобразованный результат в модуль 305 YUV-комбинирования (этап S404).

[0112] После этого модуль 308 YUV-переключения переключает назначение вывода декодера 301 на модуль 303 обратного U-преобразования (этап S405). Декодер 301 декодирует и выводит поток битов в модуль 303 обратного U-преобразования (этап S406). Модуль 303 обратного U-преобразования выполняет процесс обратного преобразования в отношении U и выводит обратно преобразованный результат в модуль 305 YUV-комбинирования (этап S407).

[0113] Затем модуль 308 YUV-переключения переключает назначение вывода декодера 301 на модуль 304 обратного V-преобразования (этап S408). Декодер 301 затем декодирует и выводит поток битов в модуль 304 обратного V-преобразования (этап S409). Модуль 304 обратного V-преобразования выполняет процесс обратного преобразования в отношении V и выводит обратно преобразованный результат в модуль 305 YUV-комбинирования (этап S410).

[0114] Если TU-размер меньше наименьшего размера блока ("Да" на этапе S401), модуль 308 YUV-переключения определяет то, декодирован ли уже текущий блок, который должен быть декодирован (этап S411). Если блок уже декодирован ("Да" на этапе S411), выполняется процесс YUV-комбинирования (этап S421). Если еще не декодирован ("Нет" на этапе S411), выполняется процесс YUV-переключения (этап S412).

[0115] В частности, когда блок еще не декодирован ("Нет" на этапе S411), модуль 308 YUV-переключения переключает назначение вывода декодера 301 на модуль 302 обратного Y-преобразования (этап S412). Затем декодер 301 декодирует и выводит поток битов в модуль 302 обратного Y-преобразования (этап S413). Следует отметить, что устройство декодирования изображений повторяет Y-процессы (этап S413-S414) такое число раз, сколько присутствует TU в наименьшем блоке, поскольку процессы выполняются в отношении всех TU в наименьшем блоке. Модуль 302 обратного Y-преобразования выполняет процесс обратного преобразования в отношении Y и выводит обратно преобразованный результат в модуль 305 YUV-комбинирования (этап S414).

[0116] После этого модуль 308 YUV-переключения переключает назначение вывода декодера 301 на модуль 303 обратного U-преобразования (этап S415). Декодер 301 декодирует и выводит поток битов в модуль 303 обратного U-преобразования (этап S416). Следует отметить, что устройство декодирования изображений повторяет U-процессы (этап S416-S417) такое число раз, сколько присутствует TU в наименьшем блоке, поскольку процессы выполняются в отношении всех TU в наименьшем блоке. Модуль 303 обратного U-преобразования выполняет процесс обратного преобразования в отношении U и выводит обратно преобразованный результат в модуль 305 YUV-комбинирования (этап S417).

[0117] Затем модуль 308 YUV-переключения переключает назначение вывода декодера 301 на модуль 304 обратного V-преобразования (этап S418). Декодер 301 затем декодирует и выводит поток битов в модуль 304 обратного V-преобразования (этап S419). Следует отметить, что устройство декодирования изображений повторяет V-процессы (этап S419-S420) такое число раз, сколько присутствует TU в наименьшем блоке, поскольку процессы выполняются в отношении всех TU в наименьшем блоке. Модуль 304 обратного V-преобразования выполняет процесс обратного преобразования в отношении V и выводит обратно преобразованный результат в модуль 305 YUV-комбинирования (этап S420).

[0118] После того как процессы выполнены в отношении каждой из Y, U и V, модуль 305 YUV-комбинирования комбинирует Y-, U- и V-компоненты и формирует пиксельное TU-значение (этап S421). Модуль 306 TU-комбинирования комбинирует TU в CU и формирует CU (этап S422). Модуль 307 CU-комбинирования комбинирует CU в изображении и формирует изображение (этап S423).

[0119] РЕЗУЛЬТАТ

В четвертом варианте осуществления можно комбинировать и обрабатывать Y, U и V в соответствующие несколько блоков и выводить выходные изображения практически в одном пакете для каждой из Y, U и V, за счет этого повышая эффективность передачи данных. Кроме того, изменение числа пикселей в YUV-наборе может подавляться, и скорость работы единиц вычисления может повышаться при параллельной обработке единиц YUV-данных с несколькими единицами вычисления.

[0120] ВАРИАНТ 5 ОСУЩЕСТВЛЕНИЯ

В пятом варианте осуществления отличительные конфигурации и процедуры первого-четвертого вариантов осуществления описываются в целях подтверждения. Конфигурации и процедуры согласно пятому варианту осуществления соответствуют конфигурации и процедурам, описанным в первом-четвертом вариантах осуществления. Иными словами, принципы, описанные в первом-четвертом вариантах осуществления, включают в себя конфигурации и процедуры согласно пятому варианту осуществления.

[0121] Фиг. 15A является блок-схемой, иллюстрирующей конфигурацию устройства кодирования изображений согласно пятому варианту осуществления. Устройство 500 кодирования изображений, показанное на фиг. 15A, кодирует изображение в расчете на единицу кодирования. Кроме того, устройство 500 кодирования изображений включает в себя модуль 501 преобразования частоты и кодер 502. Модуль 501 преобразования частоты соответствует, например, модулю 105 Y-преобразования, модулю 106 U-преобразования и модулю 107 V-преобразования, описанному в первом или втором варианте осуществления. Кодер 502 соответствует, например, кодеру 108, описанному в первом или втором варианте осуществления.

[0122] Фиг. 15B является блок-схемой последовательности операций способа, которая иллюстрирует операции устройства 500 кодирования изображений, показанного на фиг. 15A.

[0123] Во-первых, модуль 501 преобразования частоты применяет преобразование частоты к данным яркости и данным цветности для множества единиц преобразования в единице кодирования (этап S501). Единица кодирования включает в себя множество предварительно определенных блоков. Каждый из предварительно определенных блоков соответствует одной или более единиц преобразования.

[0124] Затем кодер 502 кодирует подвергнутые преобразованию частоты данные яркости и подвергнутые преобразованию частоты данные цветности и выводит поток битов для них (этап S502). Этот поток битов является потоком битов данных яркости и данных цветности, комбинированных в расчете на предварительно определенный блок.

[0125] Вследствие этого может быть уменьшен объем запоминающего устройства или регистра для буферизации данных множества единиц преобразования. Иными словами, изображение эффективно кодируется.

[0126] Фиг. 16A является блок-схемой, иллюстрирующей конфигурацию устройства декодирования изображений согласно пятому варианту осуществления. Устройство 600 декодирования изображений, показанное на фиг. 16A, декодирует изображение в расчете на единицу кодирования. Кроме того, устройство 600 декодирования изображений включает в себя декодер 601 и модуль 602 обратного преобразования частоты. Декодер 601 соответствует, например, декодеру 301, описанному в третьем варианте осуществления или четвертом варианте осуществления. Модуль 602 обратного преобразования частоты соответствует, например, модулю 302 обратного Y-преобразования, модулю 303 обратного U-преобразования и модулю 304 обратного V-преобразования, описанному в третьем варианте осуществления или четвертом варианте осуществления.

[0127] Фиг. 16B является блок-схемой последовательности операций способа, которая иллюстрирует операции устройства 600 декодирования изображений, показанного на фиг. 16A.

[0128] Во-первых, декодер 601 получает поток битов и декодирует данные яркости и данные цветности (этап S601). Этот поток битов является потоком битов комбинированных (в расчете на предварительно определенный блок), подвергнутых преобразованию частоты и кодированных данных яркости и данных цветности для множества единиц преобразования в единице кодирования. Кроме того, единица кодирования включает в себя множество предварительно определенных блоков. Каждый из предварительно определенных блоков соответствует одной или более единиц преобразования.

[0129] После этого модуль 602 обратного преобразования частоты применяет обратное преобразование частоты к декодированным данным яркости и декодированным данным цветности (этап S602).

[0130] Вследствие этого может быть уменьшен объем запоминающего устройства или регистра для буферизации данных множества единиц преобразования. Иными словами, изображение эффективно декодируется.

[0131] Следует отметить, что, например, каждый из предварительно определенных блоков может соответствовать единице преобразования. Кроме того, например, каждый из предварительно определенных блоков может соответствовать множеству единиц преобразования в блоке предварительно определенного размера или единице преобразования размера, превышающего или равного предварительно определенному размеру. Предварительно определенный размер может в два раза или в четыре раза превышать размер предварительно определенного наименьшего размера единицы преобразования. Предварительно определенный размер может быть изменен на основе формата изображений.

[0132] Кроме того, например, в потоке битов, в каждом из предварительно определенных блоков, данные яркости могут размещаться последовательно и группироваться, и данные цветности могут размещаться последовательно и группироваться. Кроме того, например, в потоке битов, все данные цветности из множества единиц преобразования в предварительно определенном блоке могут размещаться после всех данных яркости из множества единиц преобразования в предварительно определенном блоке. Кроме того, например, в потоке битов, данные яркости и данные цветности второго предварительно определенного блока могут размещаться после данных яркости и данных цветности первого предварительно определенного блока.

[0133] Кроме того, например, модуль 501 преобразования частоты может применять преобразование частоты к данным яркости и данным цветности в расчете на единицу преобразования, и модуль 602 обратного преобразования частоты может применять обратное преобразование частоты к данным яркости и данным цветности в расчете на единицу преобразования. Кроме того, например, когда число пикселей в данных цветности меньше числа пикселей в данных яркости, модуль 501 преобразования частоты может применять преобразование частоты к данным цветности в расчете на предварительно определенный блок, и модуль 602 обратного преобразования частоты может применять обратное преобразование частоты к данным цветности в расчете на предварительно определенный блок.

[0134] Кроме того, например, модуль 501 преобразования частоты может комбинировать данные цветности из множества единиц преобразования в блоке, который меньше или равен предварительно определенному размеру, и может сразу применять преобразование частоты к комбинированным данным цветности. Модуль 501 преобразования частоты может выполнять эти типы процессов, когда размер единицы преобразования составляет предварительно определенный наименьший размер, и число пикселей в данных цветности в единице преобразования меньше числа пикселей в данных яркости в единице преобразования. Устройство 500 кодирования изображений может включать в себя модуль комбинирования, который комбинирует данные цветности из множества единиц преобразования.

[0135] Кроме того, например, модуль 602 обратного преобразования частоты может сразу применять обратное преобразование частоты к данным цветности из множества единиц преобразования в блоке, который меньше или равен предварительно определенному размеру. Модуль 602 обратного преобразования частоты может выполнять этот тип процесса, когда размер единицы преобразования составляет предварительно определенный наименьший размер, и число пикселей в данных цветности в единице преобразования меньше числа пикселей в данных яркости в единице преобразования. Устройство 600 декодирования изображений может включать в себя модуль сегментирования, который сегментирует данные цветности.

[0136] Кроме того, например, устройство кодирования и декодирования изображений может включать в себя устройство 500 кодирования изображений и устройство 600 декодирования изображений. Кроме того, структурные элементы, описанные в других вариантах осуществления, могут добавляться в устройство 500 кодирования изображений или устройство 600 декодирования изображений.

[0137] В каждом из вышеприведенных вариантов осуществления каждый из функциональных блоков обычно может реализовываться, например, посредством MPU или запоминающего устройства. Кроме того, обработка для каждого из функциональных блоков обычно может реализовываться посредством программного обеспечения (программы), сохраненного на носителе хранения данных, таком как ROM. Программное обеспечение может распространяться посредством загрузки или распространяться на носителе хранения данных, таком как CD-ROM. Следует отметить, что каждый функциональный блок также может быть реализован посредством аппаратных средств (специализированной схемы).

[0138] Кроме того, обработка, описанная в каждом из вариантов осуществления, может быть реализована посредством интегрированной обработки с использованием одного устройства (системы) или реализована посредством децентрализованной обработки с использованием множества устройств. Кроме того, компьютер, который выполняет вышеприведенную программу, может представлять собой один компьютер или множество компьютеров. Другими словами, может выполняться интегрированная обработка или децентрализованная обработка.

[0139] Настоящее изобретение не ограничено вышеприведенными вариантами осуществления. Само собой разумеется, что различные типы модификаций являются приемлемыми и также включаются в объем настоящего изобретения. Например, процесс, выполняемый посредством конкретного процессора, может быть выполнен посредством другого процессора. Кроме того, порядок выполнения процесса может быть изменен, и множество процессов может быть выполнено параллельно.

[0140] Каждый из структурных элементов в каждом из вышеописанных вариантов осуществления может быть сконфигурирован в форме полностью аппаратного продукта или может быть реализован посредством выполнения программы, подходящей для структурного элемента. Каждый из структурных элементов может быть реализован посредством модуля выполнения программ, такого как CPU и процессор, считывающий и выполняющий программу, записанную на носителе записи, таком как жесткий диск или полупроводниковое запоминающее устройство. Здесь программа для реализации устройства кодирования изображений согласно каждому из вариантов осуществления является программой, описанной ниже.

[0141] Иными словами, программа инструктирует компьютеру осуществлять способ кодирования изображений для кодирования изображения в расчете на единицу кодирования, который включает в себя: применение преобразования частоты к данным яркости и данным цветности единиц преобразования в единице кодирования, включающей в себя предварительно определенные блоки, каждый соответствует одной или более из единиц преобразования; и кодирование данных яркости и данных цветности, к которым применено преобразование частоты, чтобы формировать поток битов, в котором данные яркости и данные цветности группируются в расчете на предварительно определенный блок.

[0142] Кроме того, программа может инструктировать компьютеру осуществлять способ декодирования изображений для декодирования изображения в расчете на единицу кодирования, который включает в себя: декодирование данных яркости и данных цветности единиц преобразования в единице кодирования, включающей в себя предварительно определенные блоки, каждый соответствует одной или более из единиц преобразования, после получения потока битов, в котором подвергнутые преобразованию частоты и кодированные данные яркости и данные цветности группируются в расчете на предварительно определенный блок; и применение обратного преобразования частоты к декодированным данным яркости и декодированным данным цветности.

[0143] Выше способ кодирования изображений и способ декодирования изображений согласно одному или более аспектов описаны на основе вариантов осуществления, но настоящее изобретение не ограничено этими вариантами осуществления. Различные модификации вариантов осуществления, а также варианты осуществления, являющиеся результатом комбинаций составляющих элементов различных вариантов осуществления, которые могут быть задуманы специалистами в данной области техники, имеют намерение включения в пределы объема одного или более аспектов при условии, что они не отступают от сущности настоящего изобретения.

[0144] ВАРИАНТ 6 ОСУЩЕСТВЛЕНИЯ

Обработка, описанная в каждом из вариантов осуществления, может быть реализована просто в независимой компьютерной системе, посредством записи, на носителе записи, программы для реализации конфигураций способа кодирования движущихся изображений (способа кодирования изображений) и способа декодирования движущихся изображений (способа декодирования изображений), описанных в каждом из вариантов осуществления. Носители записи могут быть любыми носителями записи при условии, что программа может записываться, такими как магнитный диск, оптический диск, магнитооптический диск, IC-карта и полупроводниковое запоминающее устройство.

[0145] В дальнейшем в этом документе описываются варианты применения к способу кодирования движущихся изображений (способу кодирования изображений) и способу декодирования движущихся изображений (способу декодирования изображений), описанных в каждом из вариантов осуществления, и к системам с их использованием. Система имеет признак наличия устройства кодирования и декодирования изображений, которое включает в себя устройство кодирования изображений с использованием способа кодирования изображений и устройство декодирования изображений с использованием способа декодирования изображений. Другие конфигурации в системе могут быть изменены надлежащим образом в зависимости от случаев применения.

[0146] Фиг. 17 иллюстрирует общую конфигурацию системы ex100 предоставления контента для реализации услуг распространения контента. Область для предоставления услуг связи разделяется на соты требуемого размера, и базовые станции ex106, ex107, ex108, ex109 и ex110, которые являются стационарными беспроводными станциями, размещаются в каждой из сот.

[0147] Система ex100 предоставления контента подключается к таким устройствам, как компьютер ex111, персональное цифровое устройство (PDA) ex112, камера ex113, сотовый телефон ex114 и игровая машина ex115, через Интернет ex101, поставщика ex102 Интернет-услуг, телефонную сеть ex104, а также базовые станции ex106-ex110, соответственно.

[0148] Тем не менее, конфигурация системы ex100 предоставления контента не ограничена конфигурацией, показанной на фиг. 17, и комбинация, в которой подключаются любые из элементов, является допустимой. Помимо этого, каждое устройство может подключаться к телефонной сети ex104 непосредственно, а не через базовые станции ex106-ex110, которые являются стационарными беспроводными станциями. Кроме того, устройства могут быть подключены друг к другу через беспроводную связь ближнего действия и т.п.

[0149] Камера ex113, такая как цифровая видеокамера, допускает захват видео. Камера ex116, такая как цифровая камера, допускает захват как неподвижных изображений, так и видео. Кроме того, сотовый телефон ex114 может быть телефоном, который удовлетворяет любому из таких стандартов, как глобальная система мобильной связи (GSM) (зарегистрированная торговая марка), множественный доступ с кодовым разделением каналов (CDMA), широкополосный множественный доступ с кодовым разделением каналов (W-CDMA), стандарт долгосрочного развития (LTE) и высокоскоростной пакетный доступ (HSPA). Альтернативно, сотовый телефон ex114 может соответствовать стандарту системы персональных мобильных телефонов (PHS).

[0150] В системе ex100 предоставления контента сервер ex103 потоковой передачи подключается к камере ex113 и т.п. через телефонную сеть ex104 и базовую станцию ex109, которая предоставляет распространение изображений трансляции в прямом эфире и т.п. При таком распределении, контент (например, видео музыкального концерта в прямом эфире), захватываемый пользователем с использованием камеры ex113, кодируется так, как описано выше в каждом из вариантов осуществления (т.е. камера выступает в качестве устройства кодирования изображений согласно аспекту настоящего изобретения), и кодированный контент передается на сервер ex103 потоковой передачи. С другой стороны, сервер ex103 потоковой передачи выполняет потоковое распространение передаваемых данных контента в клиенты при запросах. Клиенты включают в себя компьютер ex111, PDA ex112, камеру ex113, сотовый телефон ex114 и игровую машину ex115, которые допускают декодирование вышеуказанных кодированных данных. Каждое из устройств, которое принимает распределенные данные, декодирует и воспроизводит кодированные данные (т.е. выступает в качестве устройства декодирования изображений согласно аспекту настоящего изобретения).

[0151] Захватываемые данные могут кодироваться посредством камеры ex113 или сервера ex103 потоковой передачи, который передает данные, или процессы кодирования могут быть совместно использованы камерой ex113 и сервером ex103 потоковой передачи. Аналогично, распространенные данные могут быть декодированы посредством клиентов или сервера ex103 потоковой передачи, или процессы декодирования могут быть совместно использованы клиентами и сервером ex103 потоковой передачи. Кроме того, данные неподвижных изображений и видео, захватываемых не только посредством камеры ex113, но также и камеры ex116, могут быть переданы на сервер ex103 потоковой передачи через компьютер ex111. Процессы кодирования могут выполняться посредством камеры ex116, компьютера ex111 или сервера ex103 потоковой передачи или совместно использоваться ими.

[0152] Кроме того, процессы кодирования и декодирования могут выполняться посредством LSI ex500, в общем, включенной в каждый из компьютера ex111 и устройств. LSI ex500 может быть сконфигурирована из одного кристалла или множества кристаллов. Программное обеспечение для кодирования и декодирования видео может быть интегрировано в определенный тип носителя записи (такой как CD-ROM, гибкий диск и жесткий диск), который является читаемым посредством компьютера ex111 и т.п., и процессы кодирования и декодирования могут выполняться с использованием программного обеспечения. Кроме того, когда сотовый телефон ex114 содержит камеру, могут передаваться видеоданные, полученные посредством камеры. Видеоданные - это данные, кодированные посредством LSI ex500, включенной в сотовый телефон ex114.

[0153] Кроме того, сервер ex103 потоковой передачи может состоять из серверов и компьютеров и может децентрализовать данные и обрабатывать децентрализованные данные, записывать или распространять данные.

[0154] Как описано выше, клиенты могут принимать и воспроизводить кодированные данные в системе ex100 предоставления контента. Другими словами, клиенты могут принимать и декодировать информацию, передаваемую пользователем, и воспроизводить декодированные данные в режиме реального времени в системе ex100 предоставления контента, так что пользователь, который не имеет конкретных прав и оборудования, может реализовывать персональную широковещательную передачу.

[0155] Помимо примера системы ex100 предоставления контента, по меньшей мере, одно из устройства кодирования движущихся изображений (устройства кодирования изображений) и устройства декодирования движущихся изображений (устройства декодирования изображений), описанных в каждом из вариантов осуществления, может быть реализовано в цифровой широковещательной системе ex200, проиллюстрированной на фиг. 18. Более конкретно, широковещательная станция ex201 сообщает или передает по радиоволнам в широковещательный спутник ex202 мультиплексированные данные, полученные посредством мультиплексирования аудиоданных и т.п. в видеоданные. Видеоданные являются данными, кодированными посредством способа кодирования движущихся изображений, описанного в каждом из вариантов осуществления (т.е. данными, кодированными посредством устройства кодирования изображений согласно аспекту настоящего изобретения). При приеме мультиплексированных видеоданных широковещательный спутник ex202 передает радиоволны для широковещательной передачи. Затем антенна ex204 для домашнего применения с функцией приема спутниковой широковещательной передачи принимает радиоволны. Далее такое устройство, как телевизионный приемник (приемное устройство) ex300 и абонентская приставка (STB) ex217, декодирует принятые мультиплексированные данные и воспроизводит декодированные данные (т.е. выступает в качестве устройства декодирования изображений согласно аспекту настоящего изобретения).

[0156] Кроме того, модуль ex218 считывания/записи (i) считывает и декодирует мультиплексированные данные, записанные на носителе ex215 записи, таком как DVD и BD, или (i) кодирует видеосигналы на носителе ex215 записи, и в некоторых случаях записывает данные, полученные посредством мультиплексирования аудиосигнала, в кодированные данные. Модуль ex218 считывания/записи может включать в себя устройство декодирования движущихся изображений или устройство кодирования движущихся изображений, как показано в каждом из вариантов осуществления. В этом случае, воспроизведенные видеосигналы отображаются на мониторе ex219 и могут быть воспроизведены посредством другого устройства или системы с использованием носителя ex215 записи, на котором записываются мультиплексированные данные. Также можно реализовывать устройство декодирования движущихся изображений в абонентской приставке ex217, подключенной к кабелю ex203 для кабельного телевидения или к антенне ex204 для спутниковой и/или наземной широковещательной передачи, с тем чтобы отображать видеосигналы на мониторе ex219 телевизионного приемника ex300. Устройство декодирования движущихся изображений может быть реализовано не в абонентской приставке, а в телевизионном приемнике ex300.

[0157] Фиг. 19 иллюстрирует телевизионный приемник (приемное устройство) ex300, который использует способ кодирования движущихся изображений и способ декодирования движущихся изображений, описанные в каждом из вариантов осуществления. Телевизионный приемник ex300 включает в себя: тюнер ex301, который получает или предоставляет мультиплексированные данные, полученные посредством мультиплексирования аудиоданных в видеоданные, через антенну ex204 или кабель ex203 и т.д., который принимает широковещательную передачу; модуль ex302 модуляции/демодуляции, который демодулирует принятые мультиплексированные данные или модулирует данные в мультиплексированные данные, которые должны подаваться наружу; и модуль ex303 мультиплексирования/демультиплексирования, который демультиплексирует модулированные мультиплексированные данные в видеоданные и аудиоданные или мультиплексирует видеоданные и аудиоданные, кодированные посредством процессора ex306 сигналов, в данные.

[0158] Телевизионный приемник ex300 дополнительно включает в себя: процессор ex306 сигналов, включающий в себя процессор ex304 аудиосигналов и процессор ex305 видеосигналов, которые декодируют аудиоданные и видеоданные и кодируют аудиоданные и видеоданные, соответственно (которые выступают в качестве устройства кодирования изображений и устройства декодирования изображений согласно аспектам настоящего изобретения); и модуль ex309 вывода, включающий в себя динамик ex307, который предоставляет декодированный аудиосигнал, и модуль ex308 отображения, который отображает декодированный видеосигнал, такой как дисплей. Кроме того, телевизионный приемник ex300 включает в себя интерфейсный модуль ex317, включающий в себя модуль ex312 функционального ввода, который принимает ввод пользовательской операции. Кроме того, телевизионный приемник ex300 включает в себя модуль ex310 управления, который осуществляет общее управление каждым составляющим элементом телевизионного приемника ex300, и модуль ex311 схемы электропитания, который предоставляет питание в каждый из элементов. Кроме модуля ex312 функционального ввода, интерфейсный модуль ex317 может включать в себя: мост ex313, который подключается к внешнему устройству, такому как модуль ex218 считывания/записи; модуль ex314 гнезда для предоставления возможности присоединения носителя ex216 записи, такого как SD-карта; драйвер ex315 для того, чтобы подключаться к внешнему носителю записи, такому как жесткий диск; и модем ex316 для того, чтобы подключаться к телефонной сети. Здесь носитель ex216 записи может электрически записывать информацию с использованием элемента энергонезависимого/энергозависимого полупроводникового запоминающего устройства для хранения. Составляющие элементы телевизионного приемника ex300 подключены друг к другу через синхронную шину.

[0159] Во-первых, описывается конфигурация, в которой телевизионный приемник ex300 декодирует мультиплексированные данные, полученные снаружи через антенну ex204 и т.п., и воспроизводит декодированные данные. В телевизионном приемнике ex300, при пользовательской операции через удаленный контроллер ex220 и т.п., модуль ex303 мультиплексирования/демультиплексирования демультиплексирует мультиплексированные данные, демодулированные посредством модуля ex302 модуляции/демодуляции, под управлением модуля ex310 управления, включающего в себя CPU. Кроме того, процессор ex304 аудиосигналов декодирует демультиплексированные аудиоданные, и процессор ex305 видеосигналов декодирует демультиплексированные видеоданные с использованием способа декодирования, описанного в каждом из вариантов осуществления, в телевизионном приемнике ex300. Модуль ex309 вывода предоставляет декодированный видеосигнал и аудиосигнал наружу, соответственно. Когда модуль ex309 вывода предоставляет видеосигнал и аудиосигнал, сигналы могут временно сохраняться в буферах ex318 и ex319 и т.п. так, что сигналы воспроизводятся синхронно друг с другом. Кроме того, телевизионный приемник ex300 может считывать мультиплексированные данные не через широковещательную передачу и т.п., а из носителей ex215 и ex216 записи, таких как магнитный диск, оптический диск и SD-карта. Далее описывается конфигурация, в которой телевизионный приемник ex300 кодирует аудиосигнал и видеосигнал и передает данные наружу или записывает данные на носитель записи. В телевизионном приемнике ex300, при пользовательской операции через удаленный контроллер ex220 и т.п., процессор ex304 аудиосигналов кодирует аудиосигнал, и процессор ex305 видеосигналов кодирует видеосигнал под управлением модуля ex310 управления с использованием способа кодирования, как описано в каждом из вариантов осуществления. Модуль ex303 мультиплексирования/демультиплексирования мультиплексирует кодированный видеосигнал и аудиосигнал и предоставляет результирующий сигнал наружу. Когда модуль ex303 мультиплексирования/демультиплексирования мультиплексирует видеосигнал и аудиосигнал, сигналы могут временно сохраняться в буферах ex320 и ex321 и т.п. так, что сигналы воспроизводятся синхронно друг с другом. Здесь буферов ex318, ex319, ex320 и ex321 может быть множество, как проиллюстрировано, или, по меньшей мере, один буфер может быть совместно использован в телевизионном приемнике ex300. Кроме того, данные могут быть сохранены в буфере, так что может не допускаться переполнение и опустошение в системе, например, между модулем ex302 модуляции/демодуляции и модулем ex303 мультиплексирования/демультиплексирования.

[0160] Кроме того, телевизионный приемник ex300 может включать в себя конфигурацию для приема AV-ввода из микрофона или камеры, отличную от конфигурации для получения аудио- и видеоданных из широковещательной передачи или носителя записи, и может кодировать полученные данные. Хотя телевизионный приемник ex300 может кодировать, мультиплексировать и предоставлять наружу данные в описании, он может допускать только прием, декодирование и предоставление наружу данных, а не кодирование, мультиплексирование и предоставление наружу данных.

[0161] Кроме того, когда модуль ex218 считывания/записи считывает или записывает мультиплексированные данные с или на носитель записи, один из телевизионного приемника ex300 и модуля ex218 считывания/записи может декодировать или кодировать мультиплексированные данные, и телевизионный приемник ex300 и модуль ex218 считывания/записи могут совместно использовать декодирование или кодирование.

[0162] В качестве примера, фиг. 20 иллюстрирует конфигурацию модуля ex400 воспроизведения/записи информации, когда данные считываются или записываются с или на оптический диск. Модуль ex400 воспроизведения/записи информации включает в себя составляющие элементы ex401, ex402, ex403, ex404, ex405, ex406 и ex407, которые описаны ниже. Оптическая головка ex401 испускает лазерное пятно на поверхности для записи носителя ex215 записи, который является оптическим диском, чтобы записывать информацию, и обнаруживает отраженный свет от поверхности для записи носителя ex215 записи, чтобы считывать информацию. Модуль ex402 модуляционной записи электрически возбуждает полупроводниковый лазер, включенный в оптическую головку ex401, и модулирует лазерное излучение согласно записанным данным. Модуль ex403 демодуляции при воспроизведении усиливает сигнал воспроизведения, полученный посредством электрического обнаружения отраженного света от поверхности для записи, с использованием фотодетектора, включенного в оптическую головку ex401, и демодулирует сигнал воспроизведения посредством разделения компонента сигнала, записанного на носитель ex215 записи, чтобы воспроизводить необходимую информацию. Буфер ex404 временно хранит информацию, которая должна записываться на носитель ex215 записи, и информацию, воспроизведенную из носителя ex215 записи. Дисковый электромотор ex405 вращает носитель ex215 записи. Модуль ex406 сервоуправления перемещает оптическую головку ex401 в заранее определенную информационную дорожку при одновременном управлении вращательным приводом дискового электромотора ex405, чтобы следовать лазерному пятну. Модуль ex407 управления системой осуществляет общее управление модулем ex400 воспроизведения/записи информации. Процессы считывания и записи могут реализовываться посредством модуля ex407 управления системой с использованием различной информации, хранимой в буфере ex404, и формирования и добавления новой информации по мере необходимости, и посредством модуля ex402 модуляционной записи, модуля ex403 демодуляции при воспроизведении и модуля ex406 сервоуправления, которые записывают и воспроизводят информацию через оптическую головку ex401 при координированном управлении. Модуль ex407 управления системой включает в себя, например, микропроцессор и выполняет обработку посредством инструктирования компьютеру выполнять программу для считывания и записи.

[0163] Хотя в описании оптическая головка ex401 испускает лазерное пятно, она может выполнять запись с высокой плотностью с использованием света в поле в ближней зоне.

[0164] Фиг. 21 иллюстрирует носитель ex215 записи, который является оптическим диском. На поверхности для записи носителя ex215 записи, направляющие канавки формируются по спирали, и информационная дорожка ex230 записывает, заранее, информацию адреса, указывающую абсолютную позицию на диске, согласно изменению в форме направляющих канавок. Информация адреса включает в себя информацию для определения позиций блоков ex231 записи, которые являются единицей для записи данных. Воспроизведение информационной дорожки ex230 и считывание информации адреса в устройстве, которое записывает и воспроизводит данные, может приводить к определению позиций блоков записи. Кроме того, носитель ex215 записи включает в себя зону ex233 записи данных, зону ex232 внутренней окружности и зону ex234 внешней окружности. Зона ex233 записи данных является зоной для использования при записи пользовательских данных. Зона ex232 внутренней окружности и зона ex234 внешней окружности, которые находятся внутри и снаружи зоны ex233 записи данных, соответственно, предназначены для конкретного применения за исключением записи пользовательских данных. Модуль 400 воспроизведения/записи информации считывает и записывает кодированное аудио, кодированные видеоданные или мультиплексированные данные, полученные посредством мультиплексирования кодированного аудио и кодированных видеоданных, из и в зону ex233 записи данных носителя ex215 записи.

[0165] Хотя оптический диск, имеющий слой, такой как DVD и BD, описывается в качестве примера в описании, оптический диск не ограничен таким образом и может быть оптическим диском, имеющим многослойную структуру и допускающим запись на часть, отличную от поверхности. Кроме того, оптический диск может иметь структуру для многомерной записи/воспроизведения, к примеру, записи информации с использованием света цветов с различными длинами волн в одной части оптического диска и для записи информации, имеющей различные слои, с различных углов.

[0166] Кроме того, автомобиль ex210, имеющий антенну ex205, может принимать данные из спутника ex202 и т.п. и воспроизводить видео на устройстве отображения, таком как автомобильная навигационная система ex211, установленная в автомобиле ex210, в цифровой широковещательной системе ex200. Здесь конфигурация автомобильной навигационной системы ex211 является конфигурацией, например, включающей в себя приемный GPS-модуль, из конфигурации, проиллюстрированной на фиг. 19. То же применимо для конфигурации компьютера ex111, сотового телефона ex114 и т.п.

[0167] Фиг. 22A иллюстрирует сотовый телефон ex114, который использует способ кодирования движущихся изображений и способ декодирования движущихся изображений, описанные в вариантах осуществления. Сотовый телефон ex114 включает в себя: антенну ex350 для передачи и приема радиоволн через базовую станцию ex110; модуль ex365 камеры, допускающий захват движущихся и неподвижных изображений; и модуль ex358 отображения, к примеру, жидкокристаллический дисплей для отображения данных, таких как декодированное видео, захватываемое посредством модуля ex365 камеры или принимаемое посредством антенны ex350. Сотовый телефон ex114 дополнительно включает в себя: модуль основного корпуса, включающий в себя модуль ex366 функциональных клавиш; модуль ex357 аудиовывода, к примеру, динамик для вывода аудио; модуль ex356 аудиоввода, к примеру, микрофон для ввода аудио; запоминающее устройство ex367 для сохранения захваченного видео или неподвижных изображений, записанного аудио, кодированных или декодированных данных принимаемого видео, неподвижных изображений, почтовых сообщений и т.п.; и модуль ex364 гнезда, который является интерфейсным модулем для носителя записи, который сохраняет данные таким же образом, как запоминающее устройство ex367.

[0168] Далее описывается пример конфигурации сотового телефона ex114 со ссылкой на фиг. 22B. В сотовом телефоне ex114 главный модуль ex360 управления, спроектированный с возможностью полностью управлять каждым модулем основного корпуса, включающим в себя модуль ex358 отображения, а также модуль ex366 функциональных клавиш, взаимно соединяется, через синхронную шину ex370, с модулем ex361 схемы электропитания, модулем ex362 управления функциональным вводом, процессором ex355 видеосигналов, модулем ex363 интерфейса камеры, модулем ex359 управления жидкокристаллическим дисплеем (ЖК-дисплеем), модулем ex352 модуляции/демодуляции, модулем ex353 мультиплексирования/демультиплексирования, процессором ex354 аудиосигналов, модулем ex364 гнезда и запоминающим устройством ex367.

[0169] Когда клавиша завершения вызова или клавиша включения питания включается посредством пользовательской операции, модуль ex361 схемы электропитания предоставляет в соответствующие модули питание из аккумуляторной батареи с тем, чтобы активировать сотовый телефон ex114.

[0170] В сотовом телефоне ex114 процессор ex354 аудиосигналов преобразует аудиосигналы, собираемые посредством модуля ex356 аудиоввода в режиме речевой связи, в цифровые аудиосигналы под управлением главного модуля ex360 управления, включающего в себя CPU, ROM и RAM. Затем модуль ex352 модуляции/демодуляции выполняет обработку с расширенным спектром для цифровых аудиосигналов, и приемо-передающий модуль ex351 выполняет цифро-аналоговое преобразование и преобразование частоты для данных, с тем чтобы передавать результирующие данные через антенну ex350. Так же, в сотовом телефоне ex114, приемо-передающий модуль ex351 усиливает данные, принимаемые посредством антенны ex350 в режиме речевой связи, и выполняет преобразование частоты и аналого-цифровое преобразование для данных. Затем модуль ex352 модуляции/демодуляции выполняет обработку с обратным расширенным спектром для данных, и процессор ex354 аудиосигналов преобразует их в аналоговые аудиосигналы, с тем чтобы выводить их через модуль ex357 аудиовывода.

[0171] Кроме того, когда передается электронная почта в режиме передачи данных, текстовые данные электронной почты, введенные посредством операций с модулем ex366 функциональных клавиш и т.п. основного корпуса, отправляются в главный модуль ex360 управления через модуль ex362 управления функциональным вводом. Главный модуль ex360 управления инструктирует модулю ex352 модуляции/демодуляции выполнять обработку с расширенным спектром для текстовых данных, и приемо-передающий модуль ex351 выполняет цифро-аналоговое преобразование и преобразование частоты для результирующих данных, чтобы передавать данные в базовую станцию ex110 через антенну ex350. Когда принимается почтовое сообщение, обработка, которая является приблизительно обратной относительно обработки для передачи почтового сообщения, выполняется для принимаемых данных, и результирующие данные предоставляются в модуль ex358 отображения.

[0172] Когда передается видео, неподвижные изображения либо видео и аудио в режиме передачи данных, процессор ex355 видеосигналов сжимает и кодирует видеосигналы, предоставляемые из модуля ex365 камеры, с использованием способа кодирования движущихся изображений, показанного в каждом из вариантов осуществления (т.е. выступает в качестве устройства кодирования изображений согласно аспекту настоящего изобретения), и передает кодированные видеоданные в модуль ex353 мультиплексирования/демультиплексирования. В отличие от этого, в течение времени, когда модуль ex365 камеры захватывает видео, неподвижные изображения и т.п., процессор ex354 аудиосигналов кодирует аудиосигналы, собранные посредством модуля ex356 аудиоввода, и передает кодированные аудиоданные в модуль ex353 мультиплексирования/демультиплексирования.

[0173] Модуль ex353 мультиплексирования/демультиплексирования мультиплексирует кодированные видеоданные, подаваемые из процессора ex355 видеосигналов, и кодированные аудиоданные, подаваемые из процессора ex354 аудиосигналов, с использованием предварительно определенного способа. Затем модуль ex352 модуляции/демодуляции (модуль схемы модуляции/демодуляции) выполняет обработку с расширенным спектром для мультиплексированных данных, и приемо-передающий модуль ex351 выполняет цифро-аналоговое преобразование и преобразование частоты для данных с тем, чтобы передавать результирующие данные через антенну ex350.

[0174] При приеме данных видеофайла, который связывается с веб-страницей и т.п., в режиме передачи данных или при приеме почтового сообщения с присоединенным видео и/или аудио, чтобы декодировать мультиплексированные данные, принятые через антенну ex350, модуль ex353 мультиплексирования/демультиплексирования демультиплексирует мультиплексированные данные в поток битов видеоданных и поток битов аудиоданных и предоставляет в процессор ex355 видеосигналов кодированные видеоданные, а в процессор ex354 аудиосигналов кодированные аудиоданные через синхронную шину ex370. Процессор ex355 видеосигналов декодирует видеосигнал с использованием способа декодирования движущихся изображений, соответствующего способу кодирования движущихся изображений, показанному в каждом из вариантов осуществления (т.е. выступает в качестве устройства декодирования изображений согласно аспекту настоящего изобретения), и затем модуль ex358 отображения отображает, например, видеоизображения и неподвижные изображения, включенные в видеофайл, связанный с веб-страницей, через модуль ex359 управления ЖК-дисплеем. Кроме того, процессор ex354 аудиосигналов декодирует аудиосигнал, и модуль ex357 аудиовывода предоставляет аудио.

[0175] Кроме того, аналогично телевизионному приемнику ex300, терминал, такой как сотовый телефон ex114, вероятно, имеет 3 типа реализованных конфигураций, включающих в себя не только (i) приемо-передающий терминал, включающий в себя как устройство кодирования, так и устройство декодирования, но также и (ii) передающий терминал, включающий в себя только устройство кодирования, и (iii) приемный терминал, включающий в себя только устройство декодирования. Хотя в описании цифровая широковещательная система ex200 принимает и передает мультиплексированные данные, полученные посредством мультиплексирования аудиоданных в видеоданные в описании, мультиплексированные данные могут быть данными, полученными посредством мультиплексирования не аудиоданных, а символьных данных, связанных с видео, в видеоданные, и могут быть не мультиплексированными данными, а самими видеоданными.

[0176] По сути, способ кодирования движущихся изображений и способ декодирования движущихся изображений в каждом из вариантов осуществления могут использоваться в любых из описанных устройств и систем. Таким образом, могут быть получены преимущества, описанные в каждом из вариантов осуществления.

[0177] Кроме того, настоящее изобретение не ограничено вариантами осуществления и различными модификациями, и изменения возможны без отступления от объема настоящего изобретения.

[0178] ВАРИАНТ 7 ОСУЩЕСТВЛЕНИЯ

Видеоданные могут быть сформированы посредством переключения, по мере необходимости, между (i) способом кодирования движущихся изображений или устройством кодирования движущихся изображений, показанными в каждом из вариантов осуществления, и (ii) способом кодирования движущихся изображений или устройством кодирования движущихся изображений в соответствии с другим стандартом, таким как MPEG-2, MPEG-4 AVC и VC-1.

[0179] Здесь, когда множество видеоданных, которые соответствуют различным стандартам, формируются, а затем декодируются, способы декодирования должны быть выбраны таким образом, что они соответствуют различным стандартам. Тем не менее, поскольку не может быть обнаружено то, какому стандарту соответствуют каждые из множества из видеоданных, которые должны быть декодированы, имеется проблема в том, что не может быть выбран надлежащий способ декодирования.

[0180] Чтобы разрешать проблему, мультиплексированные данные, полученные посредством мультиплексирования аудиоданных и т.п. в видеоданные, имеют структуру, включающую в себя идентификационную информацию, указывающую то, какому стандарту соответствуют видеоданные. Далее описывается конкретная структура мультиплексированных данных, включающих в себя видеоданные, сформированные в способе кодирования движущихся изображений и посредством устройства кодирования движущихся изображений, показанных в каждом из вариантов осуществления. Мультиплексированные данные являются цифровым потоком в формате транспортных потоков MPEG-2.

[0181] Фиг. 23 иллюстрирует структуру мультиплексированных данных. Как проиллюстрировано на фиг. 23, мультиплексированные данные могут быть получены посредством мультиплексирования, по меньшей мере, одного из видеопотока, аудиопотока, потока презентационной графики (PG) и потока интерактивной графики. Видеопоток представляет первичное видео и вторичное видео фильма, аудиопоток (IG) представляет часть первичного аудио и часть вторичного аудио, которая должна смешиваться с частью первичного аудио, а поток презентационной графики представляет субтитры фильма. Здесь первичное видео является обычным видео, которое должно отображаться на экране, а вторичное видео является видео, которое должно отображаться в меньшем окне в первичном видео. Кроме того, поток интерактивной графики представляет интерактивный экран, который должен быть сформирован посредством размещения GUI-компонентов на экране. Видеопоток кодируется в способе кодирования движущихся изображений или посредством устройства кодирования движущихся изображений, показанных в каждом из вариантов осуществления, либо в способе кодирования движущихся изображений или посредством устройства кодирования движущихся изображений в соответствии с традиционным стандартом, таким как MPEG-2, MPEG-4 AVC и VC-1. Аудиопоток кодируется в соответствии с таким стандартом, как AC-3 Dolby, Dolby Digital Plus, MLP, DTS, DTS-HD и линейная PCM.

[0182] Каждый поток, включенный в мультиплексированные данные, идентифицируется посредством PID. Например, 0x1011 выделяется видеопотоку, который должен быть использован для видео фильма, 0x1100-0x111F выделяются аудиопотокам, 0x1200-0x121F выделяются потокам презентационной графики, 0x1400-0x141F выделяются потокам интерактивной графики, 0x1B00-0x1B1F выделяются видеопотокам, которые должны быть использованы для вторичного видео фильма, и 0x1A00-0x1A1F выделяются аудиопотокам, которые должны быть использованы для вторичного аудио, которое должно смешиваться с первичным аудио.

[0183] Фиг. 24 схематично иллюстрирует то, как мультиплексируются данные. Во-первых, видеопоток ex235, состоящий из видеокадров, и аудиопоток ex238, состоящий из аудиокадров, преобразуются в поток PES-пакетов ex236 и поток PES-пакетов ex239 и дополнительно в TS-пакеты ex237 и TS-пакеты ex240, соответственно. Аналогично, данные потока ex241 презентационной графики и данные потока ex244 интерактивной графики преобразуются в поток PES-пакетов ex242 и поток PES-пакетов ex245 и дополнительно в TS-пакеты ex243 и TS-пакеты ex246, соответственно. Эти TS-пакеты мультиплексируются в поток, чтобы получать мультиплексированные данные ex247.

[0184] Фиг. 25 иллюстрирует то, как видеопоток сохраняется в потоке PES-пакетов. Первая панель на фиг. 25 показывает поток видеокадров в видеопотоке. Вторая панель показывает поток PES-пакетов. Как указано посредством стрелок, обозначенных как yy1, yy2, yy3 и yy4 на фиг. 25, видеопоток разделяется на изображения, такие как I-изображения, B-изображения и P-изображения, каждое из которых является единицей видеопредставления, и изображения сохраняются в рабочих данных каждого из PES-пакетов. Каждый из PES-пакетов имеет PES-заголовок, и PES-заголовок сохраняет временную метку представления (PTS), указывающую время отображения изображения, и временную метку декодирования (DTS), указывающую время декодирования изображения.

[0185] Фиг. 26 иллюстрирует формат TS-пакетов, которые должны быть в итоге записаны в мультиплексированные данные. Каждый из TS-пакетов является 188-байтовым пакетом фиксированной длины, включающим в себя 4-байтовый TS-заголовок, имеющий такую информацию, как PID для идентификации потока, и 184-байтовые рабочие TS-данные для сохранения данных. PES-пакеты разделяются и сохраняются в рабочих данных TS, соответственно. Когда используется BD-ROM, каждому из TS-пакетов присваивается 4-байтовый TP_Extra_Header, тем самым приводя к 192-байтовым исходным пакетам. Исходные пакеты записываются в мультиплексированные данные. TP_Extra_Header хранит такую информацию, как Arrival_Time_Stamp (ATS). ATS показывает время начала передачи, в которое каждый из TS-пакетов должен быть передан в PID-фильтр. Исходные пакеты размещаются в мультиплексированных данных, как показано в нижней части фиг. 26. Номера, увеличивающиеся с заголовка мультиплексированных данных, называются номерами исходных пакетов (SPN).

[0186] Каждый из TS-пакетов, включенных в мультиплексированные данные, включает в себя не только потоки аудио, видео, субтитров и т.п., но также и таблицу ассоциаций программ (PAT), таблицу структуры программ (PMT) и временную отметку программ (PCR). PAT показывает то, что указывает PID в PMT, используемой в мультиплексированных данных, и PID самого PAT регистрируется как нуль. PMT сохраняет PID потоков видео, аудио, субтитров и т.п., включенных в мультиплексированные данные, и информацию атрибутов потоков, соответствующих PID. PMT также имеет различные дескрипторы, связанные с мультиплексированными данными. Дескрипторы имеют такую информацию, как информация управления копированием, показывающая то, разрешено или нет копирование мультиплексированных данных. PCR сохраняет информацию STC-времени, соответствующую ATS, показывающей, когда PCR-пакет передается в декодер, чтобы достигать синхронизации между таймером поступления (ATC), т.е. временной осью ATS, и системным таймером (STC), т.е. временной осью PTS и DTS.

[0187] Фиг. 27 подробно поясняет структуру данных PMT. PMT-заголовок располагается в верхней части PMT. PMT-заголовок описывает длину данных, включенных в PMT, и т.п. Множество дескрипторов, связанных с мультиплексированными данными, располагается после PMT-заголовка. Информация, такая как информация управления копированием, описывается в дескрипторах. После дескрипторов располагается множество фрагментов информации потока, связанных с потоками, включенными в мультиплексированные данные. Каждый фрагмент информации потока включает в себя дескрипторы потоков, каждый из которых описывает такую информацию, как тип потока для идентификации кодека сжатия потока, PID потока и информация атрибутов потока (такая как частота кадров или соотношение сторон). Дескрипторы потоков по числу равны числу потоков в мультиплексированных данных.

[0188] Когда мультиплексированные данные записываются на носителе записи и т.д., они записываются вместе с файлами информации мультиплексированных данных.

[0189] Каждый из файлов информации мультиплексированных данных является управляющей информацией мультиплексированных данных, как показано на фиг. 28. Файлы информации мультиплексированных данных находятся в соответствии "один-к-одному" с мультиплексированными данными, и каждый из файлов включает в себя информацию мультиплексированных данных, информацию атрибутов потока и карту вхождений.

[0190] Как проиллюстрировано на фиг. 28, информация мультиплексированных данных включает в себя системную скорость, время начала воспроизведения и время завершения воспроизведения. Системная скорость указывает максимальную скорость передачи, на которой декодер системных целевых объектов, который должен быть описан ниже, передает мультиплексированные данные в PID-фильтр. Интервалы ATS, включенных в мультиплексированные данные, задаются не больше системной скорости. Время начала воспроизведения указывает PTS в видеокадре в заголовке мультиплексированных данных. Интервал одного кадра добавляется к PTS в видеокадре в конце мультиплексированных данных, и PTS задается равным времени завершения воспроизведения.

[0191] Как показано на фиг. 29, фрагмент информации атрибутов регистрируется в информации атрибутов потока для каждого PID каждого потока, включенного в мультиплексированные данные. Каждый фрагмент информации атрибутов имеет различную информацию в зависимости от того, является соответствующий поток видеопотоком, аудиопотоком, потоком презентационной графики или потоком интерактивной графики. Каждый фрагмент информации атрибутов видеопотока переносит информацию, включающую в себя то, какой кодек сжатия используется для сжатия видеопотока, а также разрешение, соотношение сторон и частоту кадров фрагментов данных изображений, которые включаются в видеопоток. Каждый фрагмент информации атрибутов аудиопотока переносит информацию, включающую в себя то, какой кодек сжатия используется для сжатия аудиопотока, сколько каналов включается в аудиопоток, какой язык поддерживает аудиопотока, и насколько высокой является частота дискретизации. Информация атрибутов видеопотока и информация атрибутов аудиопотока используются для инициализации декодера до того, как проигрыватель воспроизводит информацию.

[0192] В настоящем варианте осуществления мультиплексированные данные, которые должны быть использованы, имеют тип потока, включенный в PMT. Кроме того, когда мультиплексированные данные записываются на носителе записи, используется информация атрибутов видеопотока, включенная в информацию мультиплексированных данных. Более конкретно, способ кодирования движущихся изображений или устройство кодирования движущихся изображений, описанные в каждом из вариантов осуществления, включают в себя этап или модуль для выделения уникальных видеоданных, указывающих информацию, сформированную посредством способа кодирования движущихся изображений или устройства кодирования движущихся изображений в каждом из вариантов осуществления, для типа потока, включенного в PMT, или информации атрибутов видеопотока. При этой конфигурации, видеоданные, сформированные посредством способа кодирования движущихся изображений или устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления, могут отличаться от видеоданных, которые соответствуют другому стандарту.

[0193] Кроме того, фиг. 30 иллюстрирует этапы способа декодирования движущихся изображений согласно настоящему варианту осуществления. На этапе exS100, тип потока, включенный в PMT или информацию атрибутов видеопотока, включенную в информацию мультиплексированных данных, получается из мультиплексированных данных. Затем, на этапе exS101, определяется то, указывает или нет тип потока либо информация атрибутов видеопотока то, что мультиплексированные данные формируются посредством способа кодирования видео или устройства кодирования видео в каждом из вариантов осуществления. Когда определяется то, что тип потока или информация атрибутов видеопотока указывают то, что мультиплексированные данные формируются посредством способа кодирования движущихся изображений или устройства кодирования движущихся изображений в каждом из вариантов осуществления, на этапе exS102, декодирование выполняется посредством способа декодирования движущихся изображений в каждом из вариантов осуществления. Кроме того, когда тип потока или информация атрибутов видеопотока указывает соответствие традиционным стандартам, таким как MPEG-2, MPEG-4 AVC и VC-1, на этапе exS103, декодирование выполняется посредством способа декодирования движущихся изображений в соответствии с традиционными стандартами.

[0194] Также выделение нового уникального значения для типа потока или информации атрибутов видеопотока обеспечивает определение того, могут или нет выполнять декодирование способ декодирования движущихся изображений или устройство декодирования движущихся изображений, которые описываются в каждом из вариантов осуществления. Даже когда вводятся мультиплексированные данные, которые соответствуют различному стандарту, может быть выбран надлежащий способ или устройство декодирования. Таким образом, появляется возможность декодировать информацию без ошибок. Кроме того, способ или устройство кодирования движущихся изображений либо способ или устройство декодирования движущихся изображений в настоящем варианте осуществления могут быть использованы в устройствах и системах, описанных выше.

[0195] ВАРИАНТ 8 ОСУЩЕСТВЛЕНИЯ

Каждый из способа кодирования движущихся изображений, устройства кодирования движущихся изображений, способа декодирования движущихся изображений и устройства декодирования движущихся изображений в каждом из вариантов осуществления типично осуществляется в форме интегральной схемы или большой интегральной (LSI) схемы. В качестве примера LSI, фиг. 31 иллюстрирует конфигурацию LSI ex500, которая состоит из одного кристалла. LSI ex500 включает в себя элементы ex501, ex502, ex503, ex504, ex505, ex506, ex507, ex508 и ex509, которые должны быть описаны ниже, и элементы соединяются друг с другом через шину ex510. Модуль ex505 схемы электропитания активируется посредством предоставления питания в каждый из элементов, когда модуль ex505 схемы электропитания включается.

[0196] Например, когда выполняется кодирование, LSI ex500 принимает AV-сигнал из микрофона ex117, камеры ex113 и т.п. через AV-ввод/вывод ex509 под управлением модуля ex501 управления, включающего в себя CPU ex502, контроллер ex503 запоминающего устройства, потоковый контроллер ex504 и модуль ex512 управления частотой возбуждения. Принимаемый AV-сигнал временно сохраняется во внешнем запоминающем устройстве ex511, к примеру, SDRAM. Под управлением модуля ex501 управления, сохраненные данные сегментируются на части данных согласно объему и скорости обработки так, что они передаются в процессор ex507 сигналов. Затем процессор ex507 сигналов кодирует аудиосигнал и/или видеосигнал. Здесь кодирование видеосигнала является кодированием, описанным в каждом из вариантов осуществления. Кроме того, процессор ex507 сигналов иногда мультиплексирует кодированные аудиоданные и кодированные видеоданные, и потоковый ввод-вывод ex506 предоставляет мультиплексированные данные наружу. Предоставляемый поток битов передается в базовую станцию ex107 или записывается на носителе ex215 записи. Когда наборы данных мультиплексируются, данные должны временно сохраняться в буфере ex508 так, что наборы данных являются синхронизированными друг с другом.

[0197] Хотя запоминающее устройство ex511 является элементом за пределами LSI ex500, оно может быть включено в LSI ex500. Буфер ex508 не ограничен одним буфером, а может состоять из буферов. Кроме того, LSI ex500 может состоять из одного кристалла или множества кристаллов.

[0198] Кроме того, хотя модуль ex501 управления включает в себя CPU ex502, контроллер ex503 запоминающего устройства, потоковый контроллер ex504, модуль ex512 управления частотой возбуждения, конфигурация модуля ex501 управления не ограничена этой. Например, процессор ex507 сигналов дополнительно может включать в себя CPU. Включение другого CPU в процессор ex507 сигналов может повышать скорость обработки. Кроме того, в качестве другого примера, CPU ex502 может выступать в качестве или быть частью процессора ex507 сигналов и, например, может включать в себя процессор аудиосигналов. В таком случае, модуль ex501 управления включает в себя процессор ex507 сигналов или CPU ex502, включающий в себя часть процессора ex507 сигналов.

[0199] Используемым здесь названием является LSI, но она также может называться IC, системной LSI, супер-LSI или ультра-LSI в зависимости от степени интеграции.

[0200] Кроме того, способы достигать интеграции не ограничены LSI, и специальная схема или процессор общего назначения и т.д. также позволяет достигать интеграции. Программируемая пользователем вентильная матрица (FPGA), которая может программироваться после изготовления LSI, или реконфигурируемый процессор, который дает возможность переконфигурирования подключения или конфигурации LSI, может использоваться для аналогичной цели.

[0201] В будущем, с развитием полупроводниковых технологий совершенно новая технология может заменять LSI. Функциональные блоки могут быть интегрированы с использованием этой технологии. Имеется возможность того, что настоящее изобретение применимо к биотехнологии.

[0202] ВАРИАНТ 9 ОСУЩЕСТВЛЕНИЯ

Когда декодируются видеоданные, сформированные в способе кодирования движущихся изображений или посредством устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления, по сравнению с тем, когда декодируются видеоданные, которые соответствуют традиционному стандарту, такому как MPEG-2, MPEG-4 AVC и VC-1, объем обработки, вероятно, возрастает. Таким образом, LSI ex500 должна задаваться на частоте возбуждения, превышающей частоту CPU ex502, которая должна быть использована, когда видеоданные декодируются в соответствии с традиционным стандартом. Тем не менее, когда частота возбуждения задается большей, имеется проблема в том, что возрастает энергопотребление.

[0203] Чтобы разрешать проблему, устройство декодирования движущихся изображений, к примеру, телевизионный приемник ex300 и LSI ex500, выполнено с возможностью определять то, какому стандарту соответствуют видеоданные, и переключаться между частотами возбуждения согласно определенному стандарту. Фиг. 32 иллюстрирует конфигурацию ex800 в настоящем варианте осуществления. Модуль ex803 переключения частоты возбуждения задает частоту возбуждения равной большей частоте возбуждения, когда видеоданные формируются посредством способа кодирования движущихся изображений или устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления. Затем модуль ex803 переключения частоты возбуждения инструктирует процессору ex801 декодирования, который осуществляет способ декодирования движущихся изображений, описанный в каждом из вариантов осуществления, декодировать видеоданные. Когда видеоданные соответствуют традиционному стандарту, модуль ex803 переключения частоты возбуждения задает частоту возбуждения равной меньшей частоте возбуждения, чем частота возбуждения видеоданных, сформированных посредством способа кодирования движущихся изображений или устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления. Затем модуль ex803 переключения частоты возбуждения инструктирует процессору ex802 декодирования, который соответствует традиционному стандарту, декодировать видеоданные.

[0204] Более конкретно, модуль ex803 переключения частоты возбуждения включает в себя CPU ex502 и модуль ex512 управления частотой возбуждения на фиг. 31. Здесь каждый из процессора ex801 декодирования, который осуществляет способ декодирования движущихся изображений, описанный в каждом из вариантов осуществления, и процессора ex802 декодирования, который соответствует традиционному стандарту, соответствует процессору ex507 сигналов на фиг. 31. CPU ex502 определяет то, какому стандарту соответствуют видеоданные. Затем модуль ex512 управления частотой возбуждения определяет частоту возбуждения на основе сигнала из CPU ex502. Кроме того, процессор ex507 сигналов декодирует видеоданные на основе сигнала из CPU ex502. Например, идентификационная информация, описанная в варианте 7 осуществления, вероятно, используется для идентификации видеоданных. Идентификационная информация не ограничена идентификационной информацией, описанной в варианте 7 осуществления, а может быть любой информацией при условии, что информация указывает то, какому стандарту соответствуют видеоданные. Например, когда то, какому стандарту соответствуют стандартные видеоданные, может быть определено на основе внешнего сигнала для определения того, что видеоданные используются для телевизионного приемника или диска и т.д., определение может выполняться на основе такого внешнего сигнала. Кроме того, CPU ex502 выбирает частоту возбуждения на основе, например, таблицы поиска, в которой стандарты видеоданных ассоциированы с частотами возбуждения, как показано на фиг. 34. Частота возбуждения может быть выбрана посредством сохранения таблицы поиска в буфере ex508 и внутреннем запоминающем устройстве LSI и при обращении к таблице поиска посредством CPU ex502.

[0205] Фиг. 33 иллюстрирует этапы для осуществления способа в настоящем варианте осуществления. Во-первых, на этапе exS200, процессор ex507 сигналов получает идентификационную информацию из мультиплексированных данных. Затем, на этапе exS201, CPU ex502 определяет на основе идентификационной информации то, формируются или нет видеоданные посредством способа кодирования и устройства кодирования, описанных в каждом из вариантов осуществления. Когда видеоданные формируются посредством способа кодирования движущихся изображений и устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления, на этапе exS202, CPU ex502 передает сигнал для задания частоты возбуждения равной большей частоте возбуждения в модуль ex512 управления частотой возбуждения. Затем модуль ex512 управления частотой возбуждения задает частоту возбуждения равной большей частоте возбуждения. С другой стороны, когда идентификационная информация указывает то, что видеоданные соответствуют традиционному стандарту, такому как MPEG-2, MPEG-4 AVC и VC-1, на этапе exS203, CPU ex502 передает сигнал для задания частоты возбуждения равной меньшей частоте возбуждения в модуль ex512 управления частотой возбуждения. Затем модуль ex512 управления частотой возбуждения задает частоту возбуждения равной меньшей частоте возбуждения, чем частота возбуждения в случае, если видеоданные формируются посредством способа кодирования движущихся изображений и устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления.

[0206] Кроме того, наряду с переключением частот возбуждения, энергосберегающий эффект может быть повышен посредством изменения напряжения, которое должно прикладываться к LSI ex500 или к устройству, включающему в себя LSI ex500. Например, когда частота возбуждения задается меньшей, напряжение, которое должно прикладываться к LSI ex500 или к устройству, включающему в себя LSI ex500, вероятно, задается равным напряжению, меньшему напряжения в случае, если частота возбуждения задается большей.

[0207] Кроме того, когда объем обработки для декодирования больше, частота возбуждения может задаваться большей, а когда объем обработки для декодирования меньше, частота возбуждения может задаваться меньшей в качестве способа для задания частоты возбуждения. Таким образом, способ задания не ограничен способами, описанными выше. Например, когда объем обработки для декодирования видеоданных в соответствии с MPEG-4 AVC превышает объем обработки для декодирования видеоданных, сформированных посредством способа кодирования движущихся изображений и устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления, частота возбуждения, вероятно, задается в обратном порядке относительно задания, описанного выше.

[0208] Кроме того, способ для задания частоты возбуждения не ограничен способом для задания частоты возбуждения меньшей. Например, когда идентификационная информация указывает то, что видеоданные формируются посредством способа кодирования движущихся изображений и устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления, напряжение, которое должно прикладываться к LSI ex500 или к устройству, включающему в себя LSI ex500, вероятно, задается большим. Когда идентификационная информация указывает то, что видеоданные соответствуют традиционному стандарту, такому как MPEG-2, MPEG-4 AVC и VC-1, напряжение, которое должно прикладываться к LSI ex500 или к устройству, включающему в себя LSI ex500, вероятно, задается меньшим. В качестве другого примера, когда идентификационная информация указывает то, что видеоданные формируются посредством способа кодирования движущихся изображений и устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления, возбуждение CPU ex502, вероятно, не должно приостанавливаться. Когда идентификационная информация указывает то, что видеоданные соответствуют традиционному стандарту, такому как MPEG-2, MPEG-4 AVC и VC-1, возбуждение CPU ex502, вероятно, приостанавливается в данное время, поскольку CPU ex502 имеет дополнительную производительность обработки. Даже когда идентификационная информация указывает то, что видеоданные формируются посредством способа кодирования движущихся изображений и устройства кодирования движущихся изображений, описанных в каждом из вариантов осуществления, в случае если CPU ex502 имеет дополнительную производительность обработки, возбуждение CPU ex502, вероятно, приостанавливается в данное время. В таком случае, время приостановки, вероятно, задается меньшим времени приостановки в случае, когда идентификационная информация указывает то, что видеоданные соответствуют традиционному стандарту, такому как MPEG-2, MPEG-4 AVC и VC-1.

[0209] Соответственно, энергосберегающий эффект может быть повышен посредством переключения между частотами возбуждения согласно стандарту, которому соответствуют видеоданные. Кроме того, когда LSI ex500 или устройство, включающее в себя LSI ex500, возбуждается с использованием аккумулятора, время работы от аккумулятора может быть продлено за счет энергосберегающего эффекта.

[0210] ВАРИАНТ 10 ОСУЩЕСТВЛЕНИЯ

Возникают случаи, когда множество видеоданных, которые соответствуют различным стандартам, предоставляются в устройства и системы, такие как телевизионный приемник и сотовый телефон. Чтобы обеспечивать декодирование множества видеоданных, которые соответствуют различным стандартам, процессор ex507 сигналов LSI ex500 должен соответствовать различным стандартам. Тем не менее, проблемы увеличения масштаба схемы LSI ex500 и роста затрат возникают при отдельном использовании процессоров ex507 сигналов, которые соответствуют соответствующим стандартам.

[0211] Чтобы разрешать проблему, задумана конфигурация, в которой частично совместно используются процессор декодирования для реализации способа декодирования движущихся изображений, описанного в каждом из вариантов осуществления, и процессор декодирования, который соответствует традиционному стандарту, такому как MPEG-2, MPEG-4 AVC и VC-1. Ex900 на фиг. 35A показывает пример конфигурации. Например, способ декодирования движущихся изображений, описанный в каждом из вариантов осуществления, и способ декодирования движущихся изображений, который соответствует MPEG-4 AVC, имеют, частично совместно, сведения по обработке, такой как энтропийное кодирование, обратное квантование, фильтрация для удаления блочности и прогнозирование с компенсацией движения. Сведения по обработке, которая должна совместно использоваться, вероятно, включают в себя использование процессора ex902 декодирования, который соответствует MPEG-4 AVC. Напротив, выделенный процессор ex901 декодирования, вероятно, используется для другой обработки, уникальной для аспекта настоящего изобретения. Поскольку аспект настоящего изобретения отличается посредством энтропийного декодирования, в частности, например, выделенный процессор ex901 декодирования используется для энтропийного декодирования. В противном случае, процессор декодирования, вероятно, совместно используется для одного из обратного квантования, фильтрации для удаления блочности и компенсации движения или всей обработки. Процессор декодирования для реализации способа декодирования движущихся изображений, описанного в каждом из вариантов осуществления, может быть совместно использован для обработки, которая должна совместно использоваться, и выделенный процессор декодирования может использоваться для обработки, уникальной для MPEG-4 AVC.

[0212] Кроме того, ex1000 на фиг. 35B показывает другой пример, в котором обработка совместно используется частично. Этот пример использует конфигурацию, включающую в себя выделенный процессор ex1001 декодирования, который поддерживает обработку, уникальную для аспекта настоящего изобретения, выделенный процессор ex1002 декодирования, который поддерживает обработку, уникальную для другого традиционного стандарта, и процессор ex1003 декодирования, который поддерживает обработку, которая должна совместно использоваться способом декодирования движущихся изображений согласно аспекту настоящего изобретения и традиционным способом декодирования движущихся изображений. Здесь выделенные процессоры ex1001 и ex1002 декодирования не обязательно являются специализированными для обработки согласно аспекту настоящего изобретения и обработки по традиционному стандарту, соответственно, и могут быть процессорами, допускающими реализацию общей обработки. Кроме того, конфигурация настоящего варианта осуществления может быть реализована посредством LSI ex500.

[0213] Также уменьшение масштаба схемы LSI и сокращение затрат возможно за счет совместного использования процессора декодирования для обработки, которая должна совместно использоваться способом декодирования движущихся изображений согласно аспекту настоящего изобретения и способом декодирования движущихся изображений в соответствии с традиционным стандартом.

ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ

[0214] Способ кодирования изображений и способ декодирования изображений согласно настоящему изобретению являются полезными в различных устройствах кодирования изображений и устройствах декодирования изображений, таких как, например, видеокамеры, сотовые телефоны с камерами, записывающие DVD-устройства и телевизионные приемники.

СПИСОК НОМЕРОВ ССЫЛОК

[0215] 101 - модуль сегментирования на CU

102 - модуль сегментирования на TU

103 - модуль YUV-демультиплексирования

104 - модуль комбинирования смежных блоков

105 - модуль Y-преобразования

106 - модуль U-преобразования

107 - модуль V-преобразования

108, 502 - кодер

109, 308 - модуль YUV-переключения

301, 601 - декодер

302 - модуль обратного Y-преобразования

303 - модуль обратного U-преобразования

304 - модуль обратного V-преобразования

305 - модуль YUV-комбинирования

306 - модуль TU-комбинирования

307 - модуль CU-комбинирования

309 - модуль сегментирования смежных блоков

500 - устройство кодирования изображений

501 - модуль преобразования частоты

600 - устройство декодирования изображений

602 - модуль обратного преобразования частоты

1. Способ кодирования изображений для кодирования изображения в расчете на единицу кодирования, при этом способ содержит:

- применение преобразования частоты к данным яркости и данным цветности единиц преобразования в единице кодирования, включающей в себя предварительно определенные блоки, каждый соответствует одной или более из единиц преобразования; и

- кодирование данных яркости и данных цветности, к которым применено преобразование частоты, чтобы формировать поток битов, в котором данные яркости и данные цветности группируются в расчете на предварительно определенный блок.

2. Способ кодирования изображений по п. 1,

- в котором каждый из предварительно определенных блоков соответствует единицам преобразования в блоке предварительно определенного размера или единице преобразования размера, превышающего или равного предварительно определенному размеру, и

- при кодировании данные яркости и данные цветности кодируются, чтобы формировать поток битов, в котором данные яркости и данные цветности группируются в расчете на предварительно определенный блок.

3. Способ кодирования изображений по п. 1 или 2,

- в котором при применении:

- преобразование частоты применяется к данным яркости в расчете на единицу преобразования;

- когда общее число пикселей данных цветности и общее число пикселей данных яркости равны, преобразование частоты применяется к данным цветности в расчете на единицу преобразования; и

- когда общее число пикселей данных цветности меньше общего числа пикселей данных яркости, преобразование частоты применяется к данным цветности в расчете на предварительно определенный блок.

4. Способ кодирования изображений по п. 1 или 2,

- в котором при применении из числа данных цветности единиц преобразования в единице кодирования комбинируются данные цветности единиц преобразования в блоке размера, который меньше или равен предварительно определенному размеру, и преобразование частоты применяется к комбинированным данным цветности в одном преобразовании частоты.

5. Способ кодирования изображений по п. 1 или 2,

- в котором при применении, когда размер одной из единиц преобразования составляет предварительно определенный наименьший размер и в единице преобразования общее число пикселей данных цветности меньше общего числа пикселей данных яркости, из числа данных цветности единиц преобразования в единице кодирования комбинируются данные цветности единиц преобразования в блоке, включающем в себя единицу преобразования, и преобразование частоты применяется к комбинированным данным цветности в одном преобразовании частоты.

6. Способ кодирования изображений по п. 1 или 2,

- в котором при кодировании данные яркости и данные цветности единиц преобразования в одном из предварительно определенных блоков кодируются, чтобы формировать поток битов, в котором в предварительно определенном блоке данные цветности всех единиц преобразования идут после данных яркости всех единиц преобразования.

7. Способ кодирования изображений по п. 1 или 2,

- в котором каждый из предварительно определенных блоков соответствует единицам преобразования в блоке предварительно определенного размера или единице преобразования размера, превышающего или равного предварительно определенному размеру,

- при применении преобразование частоты применяется к данным яркости и данным цветности в расчете на единицу преобразования, и

- при кодировании данные яркости и данные цветности кодируются, чтобы формировать поток битов, в котором данные яркости и данные цветности группируются в расчете на предварительно определенный блок.

8. Способ кодирования изображений по п. 1,

- в котором каждый из предварительно определенных блоков соответствует различной из единиц преобразования,

- при применении преобразование частоты применяется к данным яркости и данным цветности в расчете на единицу преобразования, и

- при кодировании данные яркости и данные цветности кодируются, чтобы формировать поток битов, в котором данные яркости и данные цветности группируются в расчете на единицу преобразования.

9. Способ декодирования изображений для декодирования изображения в расчете на единицу кодирования, при этом способ содержит:

- декодирование данных яркости и данных цветности единиц преобразования в единице кодирования, включающей в себя предварительно определенные блоки, каждый соответствует одной или более из единиц преобразования, причем декодирование включает в себя получение потока битов, и данные яркости и данные цветности представляют собой данные, к которым применено преобразование частоты и которые кодированы и группированы в потоке битов в расчете на предварительно определенный блок; и

- применение обратного преобразования частоты к декодированным данным яркости и декодированным данным цветности.

10. Способ декодирования изображений по п. 9,

- в котором каждый из предварительно определенных блоков соответствует единицам преобразования в блоке предварительно определенного размера или единице преобразования размера, превышающего или равного предварительно определенному размеру, и

- при декодировании получается поток битов, в котором данные яркости и данные цветности группируются в расчете на предварительно определенный блок и данные яркости и данные цветности декодируются.

11. Способ декодирования изображений по п. 9 или 10,

- в котором при применении:

- обратное преобразование частоты применяется к данным яркости в расчете на единицу преобразования;

- когда общее число пикселей данных цветности и общее число пикселей данных яркости равны, обратное преобразование частоты применяется к данным цветности в расчете на единицу преобразования; и

- когда общее число пикселей данных цветности меньше общего числа пикселей данных яркости, обратное преобразование частоты применяется к данным цветности в расчете на предварительно определенный блок.

12. Способ декодирования изображений по п. 9 или 10,

- в котором при применении обратное преобразование частоты применяется из числа данных цветности единиц преобразования в единице кодирования к данным цветности единиц преобразования в блоке размера, который меньше или равен предварительно определенному размеру в одном обратном преобразовании частоты.

13. Способ декодирования изображений по п. 9 или 10,

- в котором при применении, когда размер одной из единиц преобразования составляет предварительно определенный наименьший размер и в единице преобразования общее число пикселей данных цветности меньше общего числа пикселей данных яркости, обратное преобразование частоты применяется из числа данных цветности единиц преобразования в единице кодирования к данным цветности единиц преобразования в блоке, включающем в себя единицу преобразования, в одном обратном преобразовании частоты.

14. Способ декодирования изображений по п. 9 или 10,

- в котором при декодировании получается поток битов, в котором в одном из предварительно определенных блоков данные цветности всех единиц преобразования идут после данных яркости всех единиц преобразования и данные яркости и данные цветности единиц преобразования в предварительно определенном блоке декодируются.

15. Способ декодирования изображений по п. 9 или 10,

- в котором каждый из предварительно определенных блоков соответствует единицам преобразования в блоке предварительно определенного размера или единице преобразования размера, превышающего или равного предварительно определенному размеру,

- при декодировании получается поток битов, в котором данные яркости и данные цветности группируются в расчете на предварительно определенный блок и данные яркости и данные цветности декодируются, и

- при применении обратное преобразование частоты применяется к данным яркости и данным цветности в расчете на единицу преобразования.

16. Способ декодирования изображений по п. 9,

- в котором каждый из предварительно определенных блоков соответствует различной из единиц преобразования,

- при декодировании получается поток битов, в котором данные яркости и данные цветности группируются в расчете на единицу преобразования и данные яркости и данные цветности декодируются, и

- при применении обратное преобразование частоты применяется к данным яркости и данным цветности в расчете на единицу преобразования.

17. Устройство кодирования изображений, которое кодирует изображение в расчете на единицу кодирования, причем устройство кодирования изображений содержит:

- модуль преобразования частоты, выполненный с возможностью применять преобразование частоты к данным яркости и данным цветности единиц преобразования в единице кодирования, включающей в себя предварительно определенные блоки, каждый соответствует одной или более из единиц преобразования; и

- кодер, который кодирует данные яркости и данные цветности, к которым применено преобразование частоты, чтобы формировать поток битов, в котором данные яркости и данные цветности группируются в расчете на предварительно определенный блок.

18. Устройство декодирования изображений, которое декодирует изображение в расчете на единицу кодирования, причем устройство декодирования изображений содержит:

- декодер, который (i) получает поток битов, в котором подвергнутые преобразованию частоты и кодированные данные яркости и данные цветности группируются в расчете на предварительно определенный блок, и (ii) декодирует данные яркости и данные цветности единиц преобразования в единице кодирования, включающей в себя предварительно определенные блоки, каждый соответствует одной или более из единиц преобразования; и

- модуль обратного преобразования частоты, выполненный с возможностью применять обратное преобразование частоты к декодированным данным яркости и декодированным данным цветности.

19. Устройство кодирования и декодирования изображений, содержащее:

- устройство кодирования изображений, которое кодирует изображение в расчете на единицу кодирования; и

- устройство декодирования изображений, которое декодирует изображение в расчете на единицу кодирования,

- при этом устройство кодирования изображений включает в себя:

- модуль преобразования частоты, выполненный с возможностью применять преобразование частоты к данным яркости и данным цветности единиц преобразования в единице кодирования, включающей в себя предварительно определенные блоки, каждый соответствует одной или более из единиц преобразования; и

- кодер, который кодирует данные яркости и данные цветности, к которым применено преобразование частоты, чтобы формировать поток битов, в котором данные яркости и данные цветности группируются в расчете на предварительно определенный блок, и

- устройство декодирования изображений включает в себя:

- декодер, который (i) получает поток битов, в котором подвергнутые преобразованию частоты и кодированные данные яркости и данные цветности группируются в расчете на предварительно определенный блок, и (ii) декодирует данные яркости и данные цветности единиц преобразования в единице кодирования, включающей в себя предварительно определенные блоки, каждый соответствует одной или более из единиц преобразования; и

- модуль обратного преобразования частоты, выполненный с возможностью применять обратное преобразование частоты к декодированным данным яркости и декодированным данным цветности.