Устройство кодирования, способ кодирования, передающее устройство, устройство декодирования, способ декодирования и приёмное устройство

Изобретение относится к вычислительной технике. Технический результат заключается в выполнении кодирования открытой GOP для данных изображения в схеме чередования. Устройство кодирования изображения содержит блок кодирования изображения, выполненный с возможностью кодирования данных изображения каждой картинки, образующей данные изображения в схеме чередования в структуре блока NAL, и выработки видеопотка, имеющего кодированные данные изображения каждой картинки, где блок кодирования изображения устанавливает тип блока NAL среза кодированных данных изображения картинки, образующей пару полей с интракартинкой, образующей точку произвольного доступа, на уникальный тип, который показывает картинку, которая зависит от интракартинки и образует пару полей с интракартинкой, обеспечивая вставку передней картинки (LP) в качестве последующей картинки. 6 н. и 4 з.п. ф-лы, 15 ил.

 

Область техники, к которой относится изобретение

Настоящая технология относится к устройству кодирования, способу кодирования, передающему устройству, устройству декодирования, способу декодирования и приемному устройству. Более конкретно, настоящая технология относится к устройству кодирования, которое кодирует данные изображения в схеме чередования в структуре блока NAL.

Уровень техники

Схемы кодирования для кодирования данных изображения в структуре блока NAL известны в предшествующем уровне техники. Например, в непатентной литературе 1 раскрыто кодирование в схеме высокоэффективного кодирования видео (HEVC).

Перечень цитируемой литературы

Непатентная литература

Непатентная литература 1: "Overview of the High Efficiency Video Coding (HEVC) Standard" written by Gary J. Sullivan, Jens-Rainer Ohm, Woo-Jin Han, and Thomas Wiegand, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECNOROGY, VOL. 22, NO. 12, pp. 1649-1668, December 2012.

Сущность изобретения

Техническая задача

При кодировании данных изображения схемы чередования в схеме HEVC, если картинка, образующая пару полей с интракартинкой, образующей точку произвольного доступа, установлена на заднюю картинку (TP), отсутствует способ вставки передней картинки (LP). Таким образом, в этом случае нельзя кодировать открытую группу картинок (открытую GOP).

Задача настоящей технологии состоит в том, чтобы обеспечить данные изображения схемы чередования, которые позволяют выполнить кодирование открытой GOP.

Решение технической задачи

Концепция настоящей технологии представляет собой устройство кодирования, включающее в себя: блок кодирования изображения, выполненный с возможностью кодирования данных изображения каждой картинки, образующей данные изображения в схеме чередования в структуре блока NAL, и выработки видеопотка, имеющего кодированные данные изображения каждой картинки. Блок кодирования изображения устанавливает тип блока NAL среза кодированных данных изображения картинки, образующей пару полей с интракартинкой, образующей точку произвольного доступа, на уникальный тип, который показывает картинку, которая зависит от интракартинки и образует пару полей с интракартинкой.

В настоящей технологии блок кодирования изображения кодирует данные изображения каждой картинки, образующей данные изображения в схеме чередования в структуре блока NAL, и, таким образом, вырабатывает видеопоток, имеющий данные изображения каждой картинки. Например, блок кодирования изображения может классифицировать данные изображения каждой картинки, образующей данные изображения в схеме чередования на множество слоев, кодировать данные изображения картинок каждого классифицированного слоя и, таким образом, вырабатывать видеопоток, имеющий кодированные данные изображения картинок каждого слоя. В дополнение, блок кодирования изображения может, например, кодировать данные изображения в схеме чередования в схеме HEVC.

В данном случае, тип блока NAL среза кодированных данных изображения картинки, образующей пару полей с интракартинкой, образующей точку произвольного доступа, устанавливается на уникальный тип, который показывает картинку, которая зависит от интракартинки и образует пару полей с интракартинкой. Поэтому LP можно вставить как последующую картинку, и, таким образом, становится возможным кодирование открытой GOP.

Другая концепция настоящей технологии представляет собой устройство декодирования, включающее в себя: блок декодирования изображения, выполненный с возможностью декодирования видеопотока, имеющего кодированные данные изображения каждой картинки, полученной путем кодирования данных изображения каждой картинки, образующей данные изображения в схеме чередования в структуре блока NAL, для получения данных изображения в схеме чередования. В видеопотоке тип блока NAL среза кодированных данных изображения картинки, образующей пару полей с интракартинкой, образующей точку произвольного доступа, устанавливается на уникальный тип, который показывает картинку, которая зависит от интракартинки и образует пару полей с интракартинкой.

В настоящей технологии блок декодирования изображения декодирует видеопоток и, таким образом, получает данные изображения в схеме чередования. Этот видеопоток имеет кодированные данные изображения каждой картинки, полученной путем кодирования данных изображения каждой картинки, образующей данные изображения в схеме чередования в структуре блока NAL.

В видеопотоке тип блока NAL среза кодированных данных изображения картинки, образующей пару полей с интракартинкой, образующей точку произвольного доступа, устанавливается на уникальный тип, который показывает картинку, которая зависит от интракартинки и образует пару полей с интракартинкой. Поэтому видеопоток может подвергаться кодированию открытой GOP, которая включает в себя LP.

В настоящей технологии, например, видеопоток может иметь данные изображения картинки каждого слоя, полученного путем кодирования данных изображения картинки каждого слоя, которые получаются путем классификации данных изображения каждой картинки, образующей данные изображения в схеме чередования на множество слоев. Блок декодирования изображения может декодировать кодированные данные изображения картинки слоя, назначенного в информации назначения слоя, и получает данные изображения картинки слоя, равного или ниже, чем предварительно определенный слой. В этом случае возможно, например, декодирование, соразмерное с возможностями декодирования, которое будет выполнять устройство.

В дополнение, в настоящей технологии можно, например, дополнительно выполнить блок преобразования схемы, который преобразует данные изображения в схеме чередования, полученные с помощью блока декодирования изображения, в данные изображения прогрессивной схемы, и блок постобработки, который побуждают частоту кадров данных изображения каждой картинки, полученной с помощью блока преобразования схемы, соответствовать возможностям отображения. В этом случае, даже тогда, когда возможности декодирования являются низкими, можно получить данные изображения с частотой кадров, соизмеримой с высокими возможностями отображения.

Преимущественные эффекты изобретения

Согласно настоящей технологии можно также выполнить кодирование открытой GOP для данных изображения в схеме чередования. Следует отметить, что эффекты, описанные в данном документе, не должны быть ограничивающими, и можно продемонстрировать любой эффект, описанный в настоящем раскрытии.

Краткое описание чертежей

Фиг. 1 - блок-схема, показывающая пример конфигурации приемопередающей системы варианта осуществления.

Фиг. 2 - схема, показывающая пример иерархического кодирования данных изображения схемы чередования, выполняемого кодером.

Фиг. 3 - схема, показывающая пример структуры (синтаксиса) заголовка блока NAL и содержание (семантику) основных параметров в примере структуры.

Фиг. 4 - схема, предназначенная для описания конфигурации кодированных данных изображения каждой картинки, основанной на HEVC.

Фиг. 5 - схема, показывающая пример иерархического кодирования данных изображения схемы чередования, выполняемого кодером.

Фиг. 6 - схема, показывающая пример иерархического кодирования данных изображения схемы чередования, выполняемого кодером.

Фиг. 7 - схема, предназначенная для описания закрытой GOP и открытой GOP.

Фиг. 8 - схема, показывающая пример иерархического кодирования, когда тип блока NAL среза кодированных данных изображения картинки, образующей пару полей с картинкой IRAP, установлен на RAP_dependent.

Фиг. 9 - схема, показывающая пример кодирования данных изображения схемы чередования кодером.

Фиг. 10 - схема, показывающая другой пример кодирования данных изображения схемы чередования кодером.

Фиг. 11 - блок-схема, показывающая пример конфигурации передающего устройства.

Фиг. 12 - блок-схема, показывающая пример конфигурации кодера.

Фиг. 13 - блок-схема, показывающая пример конфигурации приемного устройства.

Фиг. 14 - блок-схема, показывающая пример конфигурации декодера.

Фиг. 15 - блок-схема, показывающая пример конфигурации блока постобработки.

Подобное описание изобретения

Описание вариантов осуществления

Ниже будут описаны варианты осуществления для реализации этой технологии (которые в дальнейшем упоминаются как "варианты осуществления). Следует отметить, что описание будет предоставлено в следующем порядке.

1. Вариант осуществления

2. Измененный пример

1. Вариант осуществления

Приемопередающая система

На фиг. 1 показан пример конфигурации приемопередающей системы 10 в качестве варианта осуществления. Эта приемопередающая система 10 выполнена с возможностью наличия передающего устройства 100 и приемного устройства 200.

Передающее устройство 100 передает транспортный поток TS в виде контейнера, побуждая поток переноситься на широковещательных волнах. Транспортный поток TS включает в себя видеопоток, имеющий кодированные данные изображения каждой из картинок, которые получаются путем кодирования данных изображения картинок, которые образуют данные изображения схемы чередования в структуре блока NAL. В данном варианте осуществления данные изображения схемы чередования кодируются в схеме высокоэффективного кодирования видео (HEVC).

В дополнение, этот видеопоток устанавливается таким образом, чтобы иметь кодированные данные изображения картинок каждого слоя, которые получаются путем классификации данных изображения каждой картинки, образующей данные изображения схемы чередования, на множество слоев. В этом случае кодирование выполняется таким образом, чтобы образцовая картинка источника была связана со своим собственным слоем и/или слоем ниже, чем свой собственный слой.

Информация идентификации слоя, предназначенная для идентификации связанного слоя каждой картинки, добавляется к кодированным данным изображения картинок каждого слоя. Информация идентификации слоя ("nuh_temporal_id_plus1", которая означает temporal_id) расположена в части заголовка блока NAL (nal_unit) каждой картинки. Путем добавления информации идентификации слоя этим способом приемная сторона может избирательно извлекать кодированные данные изображения слоя, равного или ниже, чем предварительно определенный слой, и выполнять вслед за этим процесс декодирования.

На фиг. 2 показан пример иерархического кодирования, выполняемого кодером. В этом примере слои классифицированы на четыре слоя от 0 до 3, и кодирование выполняется над данными изображения картинок каждого из слоев. По вертикальной оси отложены слои. Значения 0-3 устанавливаются, соответственно, как temporal_id (информация идентификации слоя), который находится в части заголовка блока NAL (nal_unit), который образует кодированные данные изображения картинок в слоях 0-3. По горизонтальной оси отложен порядок отображения (порядок картинок из композиции (РОС)), при этом с левой стороны отложены более ранние положения, и с правой стороны отложены более поздние положения в этом порядке.

На фиг. 3(a) показан пример структуры (синтаксиса) заголовка блока NAL, и на фиг. 3b) показано содержание (семантика) основных параметров в примере структуры. Одноразрядное поле "forbidden_zero_bit" должно иметь 0. Шестиразрядное поле "nal_unit_type" представляет тип блока NAL. Шестиразрядное поле "nuh_layer_id" предположительно имеет 0. Трехразрядное поле "nuh_temporal_id_plus1" представляет temporal_id и имеет значение, полученное путем добавления единицы (1-7).

Возвращаясь к фиг. 2, каждый из прямоугольных кадров представляет собой картинку, и число в ней представляет положение кодируемой картинки, то есть представлена в. порядке кодирования (в порядке декодирования на приемной стороне). Стрелки, изображенные сплошными линиями, представляют основные связи кодирования между картинками. Структура картинок (SOP) состоит из 16 картинок от "0" до "17" (за исключением "2" и "3"), и "0" представляет собой переднюю картинку. "2" представляет собой переднюю картинку следующей SOP. В качестве альтернативы, за исключением "0" и "1", структура картинок (SOP) образована 16 картинками от "2" до "3" и вплоть до "17", и в этом случае "2" представляет собой переднюю картинку SOP. Две картинки, окруженные пунктирным овалом, представляют собой пару полей, где "F" представляет собой первое поле (верхнее поле), и "S" представляет собой второе поле (нижнее поле). Следует отметить, что слои двух картинок, образующих пару полей, являются одинаковы.

Картинка "1" может представлять собой переднюю картинку из группы картинок (GOP). Кодированные данные изображения передней картинки GOP состоят из блоков NAL, которые представляют собой AUD, VPS, SPS, PPS, PSEI, SLICE, SSEI и EOS, как показано на фиг.4. С другой стороны, картинка, отличная от передней картинки GOP, состоит из блоков NAL, которые представляют собой AUD, PPS, PSEI, SLICE, SSEI и EOS. VPS можно передавать наряду с SPS один раз в последовательности (GOP), и PPS можно передавать для каждой картинки.

В настоящем варианте осуществления возможно кодирование открытой GOP. Другими словами, тип блока NAL среза кодированных данных изображения картинки, образующей пару полей с картинкой IRAP, устанавливается на уникальный тип, который показывает картинку, которая зависит от картинки IRAP и образует пару полей с картинкой IRAP.

При кодировании в схеме HEVC интраточка произвольного доступа (IRAP), задняя картинка (TP) и передняя картинка (LP) определены как типы блока NAL среза. "IRAP" показывает интракартинку, образующую точку произвольного доступа, и включает в себя каждый тип из "BLA_W_LP", "BLA_W_RADL", "BLA_N_LP", "IDR_W_RADL", "IDR_N_LP" и "CRA_NUT".

"TP" показывает картинку в порядке декодирования позже, чем IRAP, и в порядке отображения позже, чем IRAP, и включает в себя каждый тип "TRAIL_N" и "TRAIL_R". "LP" показывает картинку в порядке декодирования позже, чем IRAP, и в порядке отображения раньше, чем IRAP, и включает в себя каждый тип "RADL_N", "RADL_R", "RASL_N" и "RASL_R".

Первоначально, картинка, образующая пару полей с картинкой IRAP, становится TP в порядке декодирования позже, чем IRAP, и в порядке отображения позже, чем IRAP. В этом случае только TP может служить последующей картинкой, как показано на фиг.5, не оставляя места для вставки LP, и, таким образом, невозможно кодирование открытой GOP.

В данном варианте осуществления вновь определен тип под названием "RAP_dependent". Этот тип показывает картинку, которая не является картинкой IRAP, но зависит от картинки IRAP и образует пару полей с картинкой IRAP. Соответственно, тип блока NAL среза кодированных данных изображения картинки, образующей пару полей с картинкой IRAP, устанавливается на RAP_dependent. В этом случае LP можно вставить как последующую картинку, и, таким образом, возможно кодирование открытой GOP.

Концепции закрытой GOP и открытой GOP будут описаны ниже. На фиг. 7(a) схематично показана закрытая GOP. Закрытая GOP представляет собой GOP, в которой передняя I-картинка в порядке декодирования представляет собой картинку мгновенного обновления декодирования (IDR). На фиг. 7(b) схематично показана открытая GOP. Открытая GOP представляет собой GOP, в которой передняя I-картинка в порядке декодирования представляет собой картинку не-IDR.

Как показано на чертеже, N-ая GOP является предположительно N-ой GOP, и (N-1)-aя GOP является предположительно (N-1)-ой GOP. в N-ой GOP картинка IDR появляется первой в порядке декодирования, LP появляется следующей, и TP появляется следующей после нее. В дополнение, в N-ой GOP LP появляется первой в порядке отображения, картинка IDR из картинки не-IDR появляется следующей, и TP появляется следующей после нее.

В случае закрытой GOP, когда декодирование начинается с начала N-ой GOP, декодирование всех картинок, включенных в N-ую GOP, является гарантированным. Другими словами, картинка IDR декодируется первой, и затем декодируется LP. Этой LP запрещается опережать картинку IDR в порядке декодирования, который относится к (N-1)-ой GOP. Поэтому, когда существует LP, LP разрешается только ссылаться на картинку, включенную в N-ую GOP, и, таким образом, ее можно декодировать без информации (N-1)-ой GOP. Аналогичным образом, так как TP также запрещается ссылаться на (N-1)-ую GOP, ее можно декодировать без информации (N-1)-ой GOP.

С другой стороны, в случае открытой GOP, когда декодирование начинается с начала N-ой GOP, LP, которая появляется раньше, чем картинка не-IDR в порядке отображения, разрешается ссылаться на (N-1)-ую GOP, и, таким образом, она может быть недекодируемой. Следует отметить, что так как TP запрещается ссылаться на (N-1)-ую GOP, она может декодироваться без информации относительно (N-1)-ой GOP.

Таким образом, когда декодирование начинается с начала N-ой GOP, все картинки, включенные в N-ую GOP, можно декодировать в случае закрытой GOP, но в случае открытой GOP невозможно декодировать LP. С другой стороны, так как ссылка на (N-1)-ую GOP не разрешается в случае закрытой GOP, ее скорость передачи битов становится выше, чем у открытой GOP, чтобы получить то же самое качество изображения. Поэтому закрытая GOP и открытая GOP использовались в прошлом по отдельности в соответствии с ситуацией.

На фиг. 8 показан пример иерархического кодирования, когда тип блока NAL среза кодированных данных изображения картинки, образующей пару полей с картинкой IRAP, устанавливается на RAP_dependent. По вертикальной оси отложены слои. По горизонтальной оси отложен порядок отображения (порядок картинок композиции или РОС) где с левой стороны представлены более ранние моменты времени отображения времена, и с правой стороны представлены более поздние моменты времени отображения. В этом примере слои классифицируются на четыре слоя 0-3, и кодирование выполняется над данными изображения картинок каждого из слоев, как и в примере, описанном выше (со ссылкой на фиг. 2).

В этом примере каждый из прямоугольных кадров представляет картинку, и число в них представляет положение кодируемой картинки (то есть в порядке кодирования на приемной стороне). Стрелки, изображенные сплошными линиями, представляют собой основные связи кодирования между картинками. Две картинки, окруженные пунктирным овалом, представляют собой пару полей, где "F" представляет собой первое поле (верхнее поле), и "S" представляет собой второе поле (нижнее поле).

В этом примере картинка "0" в слое 0 кодируется как картинка IRAP. Далее картинка "1", образующая пару полей с картинкой "0", кодируется как картинка RAP_dependent. Затем картинки "2"-"15" в слоях 1-3 кодируются как LP, и затем картинки "16" и "17" в слое 0 и картинки "18"-"31" в слоях 1-3 кодируются как ТР.

В этом примере после кодирования картинки "1", образующей пару полей с картинкой "0", которая представляет собой картинку IRAP, как и картинка RAP_dependent, можно выполнить вставку LP. Поэтому становится возможным кодирование открытой GOP.

Следует отметить, что возможность обеспечения LP, которая будет вставляться как последующая картинка путем установки типа блока NAL среза кодированных данных изображения картинки, образующей пару полей с картинкой IRAP, в RAP_dependent, не ограничивается при иерархическом кодировании.

На фиг. 9 показан пример кодирования в порядке потоковой передачи и порядке отображения. В этом примере N-ая GOP является предположительно N-ой GOP, и (N-1)-ая GOP является предположительно (N-1)-ой GOP. В дополнение, каждая из прямоугольных рамок, изображенных сплошной линией, представляет собой картинку, и число в ней представляет собой положение кодируемой картинки, то есть в порядке кодирования (в порядке декодирования на приемной стороне). Две картинки, окруженные прямоугольной рамкой, изображенной пунктирной линией, представляют собой пару полей с первым полем (верхнее поле) и вторым полем (нижнее поле).

В этом примере каждая картинка N-ой GOP кодируется так, как представлено ниже, и тем самым вырабатывается видеопоток. Другими словами, картинка "0" кодируется как картинка IRAP. Далее картинка "1", образующая пару полей с картинкой "0", кодируется как картинка RAP_dependent. Затем картинки "2"-"5", расположенные перед картинкой "0" в порядке отображения, кодируются как LP, и затем картинки "6"-"9", расположенные после картинки " 1" в порядке отображения, кодируются как ТР.

В этом примере, после кодирования картинки "1" как картинки RAP_dependent, как описано выше, возможна вставка LP. Таким образом, возможно кодирование открытой GOP.

На фиг. 10 показан также пример кодирования в порядке потоковой передачи и в порядке отображения. Этот пример показывает случай, в котором тип блока NAL среза кодированных данных изображения картинки, образующей пару полей с картинкой IRAP, устанавливается на TP, а не на RAP_dependent.

В этом примере соответствующие картинки N-ой GOP кодируются так, как представлено ниже, и тем самым вырабатывается видеопоток. Другими словами, картинка "0" кодируется как картинка IRAP. Далее картинка "1", образующая пару полей с картинкой "0", кодируется как ТР. Затем картинки "2"-"9", расположенные после картинки "1" в порядке отображения, кодируются как ТР.

В этом примере, за счет кодирования картинки "1" как TP, как описано выше, TP становятся только последующими картинками. Поэтому не возможно кодирование открытой GOP, которое основано на предположении вставки LP.

Возвращаясь к фиг. 1, приемное устройство 200 принимает транспортный поток TS, который несет на себе и передается широковещательными волнами из передающего устройства 100. Приемное устройство 200 избирательно принимает и декодирует кодированные данные изображения слоя, равного или ниже, чем предварительно определенный слой, из видеопотока, включенного в этот транспортный поток TS согласно своим собственным возможностям декодирования, получает данные изображения каждой из картинок и тем самым получает данные изображения в схеме чередования.

В дополнение приемное устройство 200 преобразует данные изображения в схеме чередования, полученные посредством декодирования, описанного выше, в данные изображения в прогрессивной схеме и дополнительно выполняет постобработку, побуждая их частоту кадров соответствовать возможностям отображения. В ходе этой постобработки можно получить данные изображения с частотой кадров, соразмерной с высокими возможностями отображения даже в том случае, когда, например, возможности декодирования являются низкими.

Конфигурация передающего устройства

На фиг. 11 показан пример конфигурации передающего устройства 100. Это передающее устройство 100 имеет кодер 102, буфер 103 сжатых данных (буфер кодированных картинок или cpb), мультиплексор 104 и блок 105 передачи.

Кодер 102 принимает входной сигнал несжатых данных изображения в схеме чередования и выполняет иерархическое кодирование в схеме HEVC. Кодер 102 классифицирует данные изображения каждой из картинок, образующих данные изображения в схеме чередования, на множество слоев, и вырабатывает видеопоток, имеющий кодированные данные изображения картинок каждого слоя. В этом случае кодер 102 кодирует данные таким образом, чтобы картинка, на которую будут ссылаться (на ссылочную картинку источника), была связана с ее собственным слоем и/или слоем ниже, чем ее собственный слой (смотри фиг. 2).

В это же время кодер 102 кодирует каждую картинку таким образом, чтобы становилось возможным кодирование открытой GOP. Другими словами, кодер 102 устанавливает тип блока NAL среза кодированных данных изображения картинки, образующей пару полей с картинкой IRAP, на уникальный тип, который показывает картинку, которая зависит от картинки IRAP и образует пару полей с картинкой IRAP. В данном варианте осуществления этот уникальный тип является вновь заданным "RAP_dependent" как описано выше (смотри фиг. 8 и 9).

На фиг. 12 показан пример конфигурации кодера 102. Этот кодер 102 имеет блок 121 кодирования параметра set/SEI, блок 122 кодирования среза, блок 123 пакетирования NAL и блок 124 выработки временного ID.

Блок 121 кодирования параметра set/SEI вырабатывает наборы параметров, таких как VPS, SPS, PPS и т.п. и SEI картинок каждого слоя согласно числу потоков, подлежащих кодированию. Блок 122 кодирования среза получает данные среза путем кодирования данных изображения картинок каждого слоя.

Блок 123 пакетирования NAL вырабатывает кодированные данные изображения картинок каждого слоя на основании наборов параметров и SEI, вырабатываемых блоком 121 кодирования параметра set/SEI, и данных среза, вырабатываемых блоком 122 кодирования среза, и получает видеопотоки (кодированные потоки).

Блок 124 выработки временного ID вырабатывает temporal_id для каждой картинки, которая будет кодироваться на основании информации о слое картинки, и отправляет данные в блок 123 пакетирования NAL. Блок 123 пакетирования NAL принимает информацию типа блока NAL каждой картинки, которая будет кодироваться. Блок 123 пакетирования NAL вставляет temporal_id, соответствующий картинке каждого слоя, в заголовок блока NAL, образующего кодированные данные изображения картинки, и дополнительно устанавливает тип блока NAL (смотри фиг. 3).

Возвращаясь к фиг. 11, буфер 103 сжатых данных (cpb) временно накапливает видеопоток, включающий в себя кодированные данные картинок каждого слоя, полученного кодером 102. Мультиплексор 104 считывает видеопоток, накопленный в буфере 103 сжатых данных, создает из них пакеты PES, дополнительно создает из их транспортные пакеты и мультиплексирует их и тем самым получает транспортный поток TS в качестве мультиплексного потока.

Этот транспортный поток TS включает в себя единственный видеопоток, имеющий кодированные данные изображения картинок каждого слоя, или предварительно определенное число видеопотоков, имеющих кодированные данные изображения картинок из каждого набора слоев, которое получается путем деления множества слоев на предварительно определенное число наборов слоя, причем число равно или больше двух. Мультиплексор 104 вставляет информацию о слое и информацию о конфигурации потока в транспортный поток TS.

В качестве одной информации из программно-зависимой информации (PSI), транспортный поток TS включает в себя таблицу карты программы (РМТ). Эта РМТ имеет элементарный цикл видео (цикл видео ES1) с информацией, относящейся к каждому видеопотоку. В этом элементарном цикле видео находится информация о типе потока, идентификатор пакета (PID) и т.п., а также дескриптор, описывающий информацию, относящуюся к видеопотоку, чтобы соответствовать каждому видеопотоку.

Блок 105 передачи модулирует транспортный поток TS в схеме модуляции, правильной для широковещания, например, QPSK-OFDM, и передает радиочастотный (РЧ) модулированный сигнал из передающей антенны.

Ниже будет кратко описана работа передающего устройства 100, показанного на фиг. 11. Кодер 102 принимает входной сигнал несжатых данных изображения в схеме чередования. Кодер 102 выполняет иерархическое кодирование над этими данными изображения в схеме HEVC. Другими словами, кодер 102 классифицирует данные изображения соответствующих картинок, образующих данные изображения, на множество слоев, и кодирует данные и тем самым вырабатывает видеопоток, имеющий кодированные данные изображения картинок каждого слоя. В это время кодирование выполняется таким образом, чтобы картинка, на которую будут ссылаться, была связана с ее собственным слоем и/или слоем ниже, чем ее собственный слой.

В дополнение, в это же время, каждая картинка кодируется таким образом, чтобы стало возможным кодирование открытой GOP. Другими словами, тип блока NAL среза кодированных данных изображения картинки, образующей пару полей с картинкой IRAP, устанавливается на "RAP_dependent", который является уникальным типом, который показывает картинку, которая зависит от картинки IRAP, и образует пару полей с картинкой IRAP.

Видеопоток, который вырабатывается кодером 102, включающим в себя кодированные данные картинок каждого слоя, подается в буфер 103 сжатых данных (cpb) и временно хранится в нем. В мультиплексоре 104 видеопоток, накопленный в буфере 103 сжатых данных, считывается, PES пакетируется и дополнительный транспорт пакетируется и мультиплексируется, и тем самым получается транспортный поток TS в качестве мультиплексного потока.

Транспортный поток TS, полученный мультиплексором 104, отправляется в блок 105 передачи. В блоке 105 передачи транспортный поток TS модулируется в схеме модуляции, правильной для широковещания, например, QPSK-OFDM, и РЧ модулированный сигнал передается из передающей антенны.

Конфигурация приемного устройства

На фиг. 13 показан пример конфигурации приемного устройства 200. Приемное устройство 200 имеет блок 202 приема, демультиплексор 203 и буфер 204 сжатых данных (буфер кодированных картинок или cpb). Кроме того, приемное устройство 200 имеет декодер 205, буфер 206 несжатых данных (буфер декодированных картинок или dpb) и блок 207 постобработки.

Блок 202 приема демодулирует РЧ модулированный сигнал, принятый приемной антенной, чтобы получить транспортный поток TS. Демультиплексор 203 извлекает видеопоток (кодированный поток) путем выполнения процесса депакетирования над транспортным потоком TS и отправляет поток в буфер 204 сжатых данных (буфер кодированных картинок или cpb).

Буфер 204 сжатых данных (cpb) временно накапливает видеопоток, извлеченный демультиплексором 203. Декодер 205 извлекает кодированные данные изображения картинок слоя, который был назначен в качестве слоя для декодирования, из видеопотока, накопленного в буфере 204 сжатых данных. Затем декодер 205 декодирует полученные кодированные данные изображения каждой картинки в каждый момент времени декодирования картинки и отправляет данные в буфер 206 несжатых данных (dpb). При декодировании кодированных данных изображения каждой картинки, декодер 205 считывает и использует при необходимости данные изображения ссылочной картинки источника из буфера 206 несжатых данных.

На фиг. 14 показан пример конфигурации декодера 205. Декодер 205 имеет блок 251 анализа временного ID, блок 252 выбора целевого слоя и блок 253 декодирования. Блок 251 анализа временного ID считывает видеопоток (кодированный поток), накопленный в буфере 204 сжатых данных, и анализирует temporal_id, вставленный в заголовок блока NAL кодированных данных изображения каждой картинки.

Блок 252 выбора целевого слоя извлекает кодированные данные изображения каждой картинки слоя, назначенного в качестве слоя для декодирования, из видеопотока, считанного из буфера 204 сжатых данных, на основании результата анализа блока 251 анализа временного ID и отправляет данные в блок 253 декодирования. Блок 253 декодирования последовательно декодирует кодированные данные изображения каждой картинки, полученной с помощью блока 252 выбора целевого слоя, в моменты времени декодирования и отправляет данные в буфер 206 несжатых данных (dpb).

В этом случае блок 253 декодирования анализирует VPS и SPS для установления значения назначения уровня скорости передачи битов каждого подслоя "sublayer_level_idc" и проверяет то, является ли возможным декодирование в пределах возможностей декодирования. В дополнение к этому, в этом случае блок 253 декодирования анализирует SEI для установления, например, "initial_cpb_removal_time" и "cpb_removal_delay" и проверяет, правильно ли выбран момент времени декодирования. В качестве альтернативы, декодирование начинается в момент времени декодирования, полученный из DTS (временная метка декодирования), полученной демультиплексором 203. В дополнение, отображение выполняется в момент времени отображения, полученный из PTS (временной метки представления), полученной демультиплексором 203.

Блок 253 декодирования получает информацию, которая показывает место назначения предсказания во временном направлении от заголовка среза, когда срез декодируется для выполнения предсказания во временном направлении. В дополнение, при декодировании среза блок 253 декодирования управляет порядком считывания после декодирования для каждого типа IRAP, RAP_dependent, LP и TP, описанного в типе блока NAL заголовка блока NAL.

Возвращаясь к фиг. 13, буфер 206 несжатых данных (dpb) временно накапливает данные изображения каждой картинки, декодируемой декодером 205. Блок 207 постобработки преобразует данные изображения в схеме чередования, последовательно считываемой из буфера 206 несжатых данных (dpb) в моменты времени отображения, в данные изображения в прогрессивной схеме. Кроме того, блок 207 постобработки выполняет процесс побуждения частоты кадров данных изображения каждой картинки, преобразованной в прогрессивную схему, соответствовать возможностям отображения.

Например, когда частота кадров декодированных данных изображения картинок составляет 120 кадр/с и возможность отображения 120 кадр/с, блок 207 постобработки отправляет декодированные данные изображения картинок для фактического их отображения. В дополнение, например, когда частота кадров декодированных данных изображения картинок составляет 120 кадр/с и возможность отображения 60 кадр/с, блок 207 постобработки выполняет процесс субдискретизации таким образом, чтобы, разрешение во временном направлении было в два раза меньше, чем у декодированных данных изображения картинок, и отправляет данные в устройство отображения в качестве данных изображения с частотой кадров 60 кадр/с.

В дополнение, когда декодированные данные изображения каждой картинки имеют частоту чересстрочных полей 60 кадр/с, и возможность их отображения равна частоте прогрессивных кадров 120 кадр/с, блок 207 постобработки выполняет преобразование I-P над декодированными данными изображения каждой картинки, чтобы установить частоту прогрессивных кадров на 60 кадр/с, дополнительно выполняет процесс интерполяции, чтобы установить разрешение во временном направлении в два раза больше, чем у картинок 60 кадр/с, и отправляет данные в устройство отображения в качестве данных изображения 120 кадр/с. В дополнение, например, когда данные изображения каждой картинки после декодирования имеют частоту кадров 60 кадр/с, и возможность их отображения составляет 60 кадр/с, блок 207 постобработки отправляет декодированные данные изображения каждой картинки непосредственно в устройство отображения.

На фиг. 15 показан пример конфигурации блока 207 постобработки. Этот пример является примером, который может иметь дело со случаем, описанным выше, в котором частота кадров декодированных данных изображения картинок составляет 120 кадр/с или 60 кадр/с, и возможность отображения составляет 120 кадр/с или 60 кадр/с.

Блок 207 постобработки имеет блок 271 преобразования I-P, блок 272 интерполяции, блок 273 субдискретизации и блок 274 переключения. Блок 271 преобразования I-P преобразует данные изображения каждой картинки после декодирования (данных изображения в схеме чередования) из буфера 206 несжатых данных в данные изображения в прогрессивной схеме.

Блок 272 интерполяции выполняет процесс интерполяции во временном направлении над данными изображения, полученными блоком 271 преобразования I-P, чтобы удвоить частоту кадров. Блок 273 субдискретизации выполняет процесс субдискретизации во временном направлении над данными изображения, полученными блоком 271 преобразования I-P, чтобы уменьшить в два раза частоту кадров. Блок 274 переключения избирательно выводит сигналы любые выходные данные изображения блока 271 преобразования I-P, блока 272 интерполяции и блока 273 субдискретизации на основании информации выбора.

Информация выбора автоматически вырабатывается, например, блоком управления, который не иллюстрирован или согласно операции пользователя. Соответственно, данные изображения каждой картинки, последовательно считанные из буфера 206 несжатых данных (dpb) в моменты времени отображения, преобразуется в прогрессивную схему, и частота кадров соответствует возможностям отображения.

Далее приводится краткое описание работы приемного устройства 200, показанного на фиг. 15. Блок 202 приема демодулирует РЧ модулированный сигнал, принятый приемной антенной, чтобы получить транспортный поток TS. Этот транспортный поток TS отправляется в демультиплексор 203. Демультиплексор 203 принимает видеопоток (кодированный поток) путем выполнения процесса депакетирования над транспортным потоком TS. Этот видеопоток отправляется и временно накапливается в буфере 204 сжатых данных (cpb).

Декодер 205 принимает кодированные данные изображения картинок слоя, назначенного в качестве слоя для декодирования, из видеопотока, накопленного в буфере 204 сжатых данных. Затем декодер 205 декодирует кодированные данные изображения каждой из принятых картинок в моменты времени декодирования картинок и отправляет данные в буфер 206 несжатых данных (dpb), чтобы добиться временного хранения данных. В этом случае, когда необходимо декодировать кодированные данные изображения соответствующих картинок, данные изображения ссылочной картинки источника считываются из буфера 206 несжатых данных, который будет использоваться.

Данные изображения картинок, последовательно считанных из буфера 206 несжатых данных (dpb) в моменты времени отображения, отправляются в блок 207 постобработки. Блок 207 постобработки преобразует данные изображения в схеме чередования в данные изображения в прогрессивной схеме и дополнительно выполняет процесс интерполяции или процесс субдискретизации над данными изображения каждой картинки, преобразует в прогрессивную схему, чтобы побудить частоту кадров соответствовать возможностям отображения. Данные изображения картинок, обработанные блоком 207 постобработки, подаются в устройство отображения, и отображается динамическое изображение данных изображения картинок.

Как описано выше, в приемопередающей системе 10, показанной на фиг. 1, когда данные изображения в схеме чередования кодируются в схему HEVC, передающая сторона устанавливает тип блока NAL среза кодированных данных изображения картинки, образующей пару полей с интракартинкой, образующей точку произвольного доступа, на уникальный тип, который показывает картинку, которая зависит от интракартинки и образует пару полей с интракартинкой (на "RAP_dependent"). Таким образом, становится возможной вставка LP в качестве последующей картинки, и тем самым становится возможным открытой GOP.

2. Измененный пример

Следует отметить, что, хотя в вышеописанном варианте осуществления показана приемопередающая система 10, состоящая из передающего устройства 100 и приемного устройства 200, конфигурация приемопередающей системы, в которой может быть применена настоящая технология, не ограничивается этим. Например, часть приемного устройства 200 можно выполнить с декодером каналов кабельного телевидения, соединенным с цифровым интерфейсом, таким как высококачественный мультимедийный интерфейс (HDMI), и монитором и т.п. Следует отметить, что "HDMI" является зарегистрированным торговым знаком.

В дополнение, хотя в вышеупомянутом варианте осуществления был описан случай изображения чересстрочного типа, в случае изображения прогрессивного типа картинку разрешается располагать позже, чем IRAP в своем порядке декодирования и порядке отображения благодаря типу RAP_dependent, и, таким образом поток, можно сконфигурировать поток, в котором легко размещаются LP и RP.

В дополнение, в вышеописанном варианте осуществления показан пример, в котором, контейнер представляет собой транспортный поток (MPEG-2 TS). Однако настоящую технологию можно также применить аналогичным образом к системе, выполненной с возможностью распределения данных в приемном терминале с использованием сети, такой как Интернет. При распределении по Интернет существует много случаев распределения с использованием контейнера в формате МР4 или в других форматах. Другими словами, в качестве контейнеров равноценными являются различные форматы, включающие в себя транспортные потоки (MPEG-2 TS), используемые в стандартах цифрового широковещания, формат МР4, используемый при распределении Интернет, и т.п.

Кроме того, настоящую технологию можно также выполнить так, как представлено ниже.

(1) Устройство кодирования, включающее в себя:

блок кодирования изображения, выполненный с возможностью кодирования данных изображения каждой картинки, образующей данные изображения в схеме чередования в структуре блока NAL, и выработки видеопотка, имеющего кодированные данные изображения каждой картинки,

где блок кодирования изображения устанавливает тип блока NAL среза кодированных данных изображения картинки, образующей пару полей с интракартинкой, образующей точку произвольного доступа, на уникальный тип, который показывает картинку, которая зависит от интракартинки и образует пару полей с интракартинкой.

(2) Устройство кодирования по п. (1), в котором блок кодирования изображения классифицирует данные изображения каждой картинки, образующей данные изображения в схеме чередования, на множество слоев, кодирует данные изображения картинки каждого классифицированного слоя и вырабатывает видеопоток, имеющий кодированные данные изображения картинки каждого слоя.

(3) Устройство кодирования по п. (1) или (2), в котором блок кодирования изображения кодирует данные изображения в схеме чередования в схеме HEVC.

(4) Способ кодирования, включающий в себя:

этап кодирования изображения с помощью блока кодирования изображения для кодирования данных изображения каждой картинки, образующей данные изображения в схеме чередования в структуре блока NAL, и выработки видеопотока, имеющего кодированные данные изображения каждой картинки,

где, на этапе кодирования изображения, тип блока NAL среза кодированных данных изображения картинки, образующей пару полей с интракартинкой, образующей точку произвольного доступа, устанавливается на уникальный тип, который показывает картинку, которая зависит от интракартинки и образует пару полей с интракартинкой.

(5) Передающее устройство, включающее в себя:

блок кодирования изображения, выполненный с возможностью кодирования данных изображения каждой картинки, образующей данные изображения в схеме чередования в структуре блока NAL, и выработки видеопотка, имеющего кодированные данные изображения каждой картинки; и

блок передачи, выполненный с возможностью передачи контейнера в предварительно определенном формате, который включает в себя выработанный видеопоток,

где блок кодирования изображения устанавливает тип блока NAL среза кодированных данных изображения картинки, образующей пару полей с интракартинкой, образующей точку произвольного доступа, на уникальный тип, который показывает картинку, которая зависит от интракартинки и образует пару полей с интракартинкой.

(6) Устройство декодирования, включающее в себя:

блок декодирования изображения, выполненный с возможностью декодирования видеопотока, имеющего кодированные данные изображения каждой картинки, полученной путем кодирования данных изображения каждой картинки, образующей данные изображения в схеме чередования в структуре блока NAL, для получения данных изображения в схеме чередования,

где, в видеопотоке, тип блока NAL среза кодированных данных изображения картинки, образующей пару полей с интракартинкой, образующей точку произвольного доступа, устанавливается на уникальный тип, который показывает картинку, которая зависит от интракартинки и образует пару полей с интракартинкой.

(7) Устройство декодирования по п. (6),

в котором видеопоток имеет данные изображения картинки каждого слоя, полученного путем кодирования данных изображения картинки каждого слоя, которые получаются путем классификации данных изображения каждой картинки, образующей данные изображения в схеме чередования на множество слоев, и

в котором блок декодирования изображения декодирует кодированные данные изображения картинки слоя, назначенного в информации назначения слоя, и получает данные изображения картинки слоя, равного или ниже, чем предварительно определенный слой.

(8) Устройство декодирования по п. (6) или (7), дополнительно включающее в себя: блок преобразования схемы, выполненный с возможностью преобразования

данных изображения в схеме чередования, полученных с помощью блока декодирования изображения, в данные изображения в прогрессивной схеме; и

блок постобработки, выполненный с возможностью побуждения частоты кадров данных изображения каждой картинки, полученной с помощью блока преобразования схемы, соответствовать возможностям отображения.

(9) Способ декодирования, включающий в себя:

этап декодирования изображения блоком декодирования изображения для декодирования видеопотока, имеющего кодированные данные изображения каждой картинки, полученной путем кодирования данных изображения каждой картинки, образующей данные изображения в схеме чередования в структуре блока NAL, для получения данных изображения в схеме чередования,

где, в видеопотоке, тип блока NAL среза кодированных данных изображения картинки, образующей пару полей с интракартинкой, образующей точку произвольного доступа, устанавливается на уникальный тип, который показывает картинку, которая зависит от интракартинки и образует пару полей с интракартинкой.

(10) Приемное устройство, включающее в себя:

блок приема, выполненный с возможностью приема контейнера в предварительно определенном формате, который, включает в себя видеопоток, имеющий кодированные данные изображения каждой картинки, полученной путем кодирования данных изображения каждой картинки, образующей данные изображения в схеме чередования в структуре блока NAL; и

блок декодирования изображения, выполненный с возможностью получения данных изображения в схеме чередования путем декодирования видеопотока, включенного в принятый контейнер,

где, в видеопотоке, тип блока NAL среза кодированных данных изображения картинки, образующей пару полей с интракартинкой, образующей точку произвольного доступа, устанавливается на уникальный тип, который показывает картинку, которая зависит от интракартинки и образует пару полей с интракартинкой.

Главной особенностью настоящей технологии является обеспечение возможности вставки LP в качестве последующей картинки и кодирования открытой GOP путем установки, при кодировании данных изображения в схеме чередования в виде блока NAL, типа блока NAL среза кодированных данных изображения картинки, образующей пару полей с интракартинкой, образующей точку произвольного доступа, на уникальный тип, который показывает картинку, которая зависит от интракартинки и образует пару полей с интракартинкой (смотри фиг. 8 и 9).

Перечень ссылочных позиций

10 приемопередающая система

100 передающее устройство

102 кодер

103 буфер сжатых данных (cpb)

104 мультиплексор

105 блок передачи

121 блок кодирования параметра set/SEI

122 блок кодирования среза

123 блок пакетирования NAL

124 блок выработки временного ID 200 приемное устройство

202 блок приема

203 демультиплексор

204 буфер сжатых данных (cpb)

205 декодер

206 буфер несжатых данных (dpb)

207 блок постобработки

251 блок анализа временного ID

252 блок выбора целевого слоя

253 блок декодирования

271 блок преобразования I-P

272 блок интерполяции

273 блок субдискретизации

274 блок переключения

1. Устройство кодирования изображения, содержащее:

блок кодирования изображения, выполненный с возможностью кодирования данных изображения каждой картинки, образующей данные изображения в схеме чередования в структуре блока NAL, и выработки видеопотка, имеющего кодированные данные изображения каждой картинки,

где блок кодирования изображения устанавливает тип блока NAL среза кодированных данных изображения картинки, образующей пару полей с интракартинкой, образующей точку произвольного доступа, на уникальный тип, который показывает картинку, которая зависит от интракартинки и образует пару полей с интракартинкой, обеспечивая вставку передней картинки (LP) в качестве последующей картинки.

2. Устройство кодирования по п. 1, в котором блок кодирования изображения классифицирует данные изображения каждой картинки, образующей данные изображения в схеме чередования, на множество слоев, кодирует данные изображения картинки каждого классифицированного слоя и вырабатывает видеопоток, имеющий кодированные данные изображения картинки каждого слоя.

3. Устройство кодирования по п. 1, в котором блок кодирования изображения кодирует данные изображения в схеме чередования в схеме HEVC.

4. Способ кодирования изображения, содержащий:

этап кодирования изображения с помощью блока кодирования изображения для кодирования данных изображения каждой картинки, образующей данные изображения в схеме чередования в структуре блока NAL, и выработки видеопотока, имеющего кодированные данные изображения каждой картинки,

где, на этапе кодирования изображения, тип блока NAL среза кодированных данных изображения картинки, образующей пару полей с интракартинкой, образующей точку произвольного доступа, устанавливается на уникальный тип, который показывает картинку, которая зависит от интракартинки и образует пару полей с интракартинкой, обеспечивая вставку передней картинки (LP) в качестве последующей картинки.

5. Передающее устройство для передачи транспортного потока, содержащее:

блок кодирования изображения, выполненный с возможностью кодирования данных изображения каждой картинки, образующей данные изображения в схеме чередования в структуре блока NAL, и выработки видеопотка, имеющего кодированные данные изображения каждой картинки; и

блок передачи, выполненный с возможностью передачи контейнера в предварительно определенном формате, который включает в себя выработанный видеопоток,

где блок кодирования изображения устанавливает тип блока NAL среза кодированных данных изображения картинки, образующей пару полей с интракартинкой, образующей точку произвольного доступа, на уникальный тип, который показывает картинку, которая зависит от интракартинки и образует пару полей с интракартинкой, обеспечивая вставку передней картинки (LP) в качестве последующей картинки.

6. Устройство декодирования видеопотока, содержащее:

блок декодирования изображения, выполненный с возможностью декодирования видеопотока, имеющего кодированные данные изображения каждой картинки, полученной путем кодирования данных изображения каждой картинки, образующей данные изображения в схеме чередования в структуре блока NAL, для получения данных изображения в схеме чередования,

где в видеопотоке тип блока NAL среза кодированных данных изображения картинки, образующей пару полей с интракартинкой, образующей точку произвольного доступа, устанавливается на уникальный тип, который показывает картинку, которая зависит от интракартинки и образует пару полей с интракартинкой, обеспечивая вставку передней картинки (LP) в качестве последующей картинки.

7. Устройство декодирования по п. 6,

в котором видеопоток имеет данные изображения картинки каждого слоя, полученного путем кодирования данных изображения картинки каждого слоя, которые получаются путем классификации данных изображения каждой картинки, образующей данные изображения в схеме чередования на множество слоев, и

в котором блок декодирования изображения декодирует кодированные данные изображения картинки слоя, назначенного в информации назначения слоя, и получает данные изображения картинки слоя, равного или ниже, чем предварительно определенный слой.

8. Устройство декодирования по п. 6, дополнительно содержащее:

блок преобразования схемы, выполненный с возможностью преобразования данных изображения в схеме чередования, полученных с помощью блока декодирования изображения, в данные изображения в прогрессивной схеме; и

блок постобработки, выполненный с возможностью побуждения частоты кадров данных изображения каждой картинки, полученной с помощью блока преобразования схемы, соответствовать возможностям отображения.

9. Способ декодирования видеопотока, содержащий:

этап декодирования изображения блоком декодирования изображения для декодирования видеопотока, имеющего кодированные данные изображения каждой картинки, полученной путем кодирования данных изображения каждой картинки, образующей данные изображения в схеме чередования в структуре блока NAL, для получения данных изображения в схеме чередования,

где в видеопотоке тип блока NAL среза кодированных данных изображения картинки, образующей пару полей с интракартинкой, образующей точку произвольного доступа, устанавливается на уникальный тип, который показывает картинку, которая зависит от интракартинки и образует пару полей с интракартинкой, обеспечивая вставку передней картинки (LP) в качестве последующей картинки.

10. Приёмное устройство для приема транспортного потока, содержащее:

блок приема, выполненный с возможностью приема контейнера в предварительно определенном формате, который включает в себя видеопоток, имеющий кодированные данные изображения каждой картинки, полученной путем кодирования данных изображения каждой картинки, образующей данные изображения в схеме чередования в структуре блока NAL; и

блок декодирования изображения, выполненный с возможностью получения данных изображения в схеме чередования путем декодирования видеопотока, включенного в принятый контейнер,

где в видеопотоке тип блока NAL среза кодированных данных изображения картинки, образующей пару полей с интракартинкой, образующей точку произвольного доступа, устанавливается на уникальный тип, который показывает картинку, которая зависит от интракартинки и образует пару полей с интракартинкой, обеспечивая вставку передней картинки (LP) в качестве последующей картинки.