Способ и устройство для определения набора опорных картинок изображения
Изобретение относится к видеодекодированию, в частности к определению набора опорных картинок (RPS), которые используются в предсказывающем декодировании текущей картинки (изображения). Техническим результатом является повышение эффективности видеодекодирования. Предложен способ определения RPS, который является набором опорных картинок, используемых в предсказывающем декодировании текущей картинки, включающий: получение флага, указывающего, определяется ли RPS на основании значения счета по порядку картинок (POC) текущей картинки и предыдущей картинки или определяется ли RPS на основании индекса опорного RPS, который является значением идентификации опорного RPS, который является одним из предварительно определенных наборов RPS и на который ссылаются при определении RPS, и дельта RPS, которое является значением разности между значением POC опорной картинки, включенной в опорный RPS, и значением POC опорной картинки, включенной в RPS; и определение RPS в соответствии со значением флага. 7 н. и 4 з.п. ф-лы, 15 ил.
СВЯЗАННЫЕ ЗАЯВКИ
Эта заявка испрашивает приоритет заявки на патент США № 61/624,468, поданной 16 апреля 2012, в Патентное Ведомство США, описание которой включается в настоящее описание полностью посредством ссылок.
ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
[0001] Один или более вариантов осуществления настоящего изобретения относятся к способу и устройству для определения набора опорных картинок (RPS), который является набором опорных картинок, которые используются в предсказывающем декодировании текущей картинки, которая должна быть декодирована.
ОПИСАНИЕ УРОВНЯ ТЕХНИКИ
[0002] В последнее время с развитием технологии цифрового отображения и появлением цифровых телевизоров с высоким качеством изображения (телевизоры TV) новый кодек для обработки большого количества видео данных был предложен. Информация опорных картинок, которые используются в предсказывающем декодировании текущей картинки, может быть закодирована и передана в часть декодирования. Часть декодирования может выполнять предсказывающее декодирование текущей картинки посредством использования переданной информации опорных картинок.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[0003] Один или более примерных вариантов осуществления включают в себя способ и устройство для определения набора опорных картинок (RPS), который является набором опорных картинок, который используется в предсказывающем декодировании текущей картинки.
[0004] Дополнительные аспекты будут приведены частично в нижеследующем описании и частично будут очевидны из описания или могут быть изучены при практическом применении вариантов осуществления.
[0005] В соответствии с одним или более примерными вариантами осуществления, способ определения RPS, который является набором опорных картинок, который используется в предсказывающем декодировании текущей картинки, включает в себя: определение того, определять ли RPS на основании дельта RPS, которое является разностным значением между значением счета по порядку картинки (POC) опорной картинки, включенной в опорный RPS, который является одним из предварительно определенных наборов RPS и на который ссылаются при определении RPS, и значения POC опорной картинки, включенной в RPS; и определение RPS на основании результата определения.
[0006] Определение RPS может включать в себя: получение флага, указывающего, определяется ли RPS на основании дельта RPS, который определяется на основании значений POC текущей картинки и предыдущей картинки, или определяется ли RPS на основании индекса опорного RPS, который является значением идентификации опорного RPS, и дельта RPS; и определение RPS в соответствии со значением этого флага.
[0007] RPS может быть RPS, который не является предварительно определенным в наборе параметров последовательности (SPS).
[0008] Определение RPS может включать в себя: определение дельта RPS для RPS, на основании значения разности между значением POC текущей картинки и значением POC предыдущей картинки; и определение RPS на основании дельта RPS упомянутого RPS и RPS, используемого в предсказывающем декодировании предыдущей картинки.
[0009] Определение RPS может включать в себя: получение дельта RPS и индекса опорного RPS; получение опорного RPS на основании индекса опорного RPS; и определение RPS на основании значения дельта RPS, добавленного к значениям POC опорных картинок, включенных в опорный RPS.
[0010] Способ может включать в себя: определение RPS, который является набором опорных картинок, используемых в предсказывающем декодировании текущей картинки, которая должна быть декодирована; определение того, сигнализировать ли RPS на основании дельта RPS, которое является значением разности между значением счета по порядку картинки (POC) опорной картинки, включенной в опорный RPS, который является одним из предварительно определенных наборов RPS и на который ссылаются при определении RPS, и значением POC опорной картинки, включенной в RPS; и сигнализацию RPS на основании результата определения.
[0011] Сигнализация RPS может включать в себя: определение того, определяется ли RPS на основании дельта RPS, которое определяется на основании значения POC текущей картинки и предыдущей картинки, или определяется ли RPS на основании индекса опорного RPS, который является значением идентификации опорного RPS, и дельта RPS; и добавление флага к предварительно определенной области битового потока в соответствии с результатом определения.
[0012] RPS может быть RPS, который не является предварительно определенным в наборе параметров последовательности (SPS).
[0013] Когда RPS получается на основании значений POC текущей картинки и предыдущей картинки, дельта RPS упомянутого RPS может быть определена на основании значения разности между значением POC текущей картинки и значением POC предыдущей картинки, и RPS может быть получен на основании дельта RPS упомянутого RPS и RPS, используемого в предсказывающем декодировании предыдущего изображения.
[0014] Способ может дополнительно включать в себя добавление дельта RPS и индекса опорного RPS к предварительно определенной области битового потока, когда RPS получается на основании дельта RPS и индекса опорного RPS, и RPS может быть получен на основании опорного RPS, полученного на основании индекса опорного RPS и дельта RPS.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0015] Эти и/или другие аспекты станут очевидными и с большей легкостью оценены из нижеследующего описания вариантов осуществления, взятых совместно с сопроводительными чертежами, на которых:
[0016] ФИГ. 1А и 1B являются блок-схемами внутренней структуры устройства кодирования видео, в соответствии с примерным вариантом осуществления;
[0017] ФИГ. 2А и 2B являются блок-схемами внутренней структуры устройства декодирования видео, в соответствии с примерным вариантом осуществления;
[0018] ФИГ. 3 является блок-схемой внутренней структуры блока кодирования картинки, в соответствии с примерным вариантом осуществления;
[0019] ФИГ. 4 является блок-схемой внутренней структуры блока декодирования картинки, в соответствии с примерным вариантом осуществления;
[0020] ФИГ. 5 и 6 являются блок-схемами, иллюстрирующими способ сигнализации набора опорных картинок (RPS), в соответствии с примерным вариантом осуществления;
[0021] ФИГ. 7 и 8 являются блок-схемами, иллюстрирующими способ определения RPS, в соответствии с примерным вариантом осуществления;
[0022] ФИГ. 9 является видом примерного набором параметров последовательности (SPS), в соответствии с примерным вариантом осуществления;
[0023] ФИГ. 10 является видом примерного заголовка вырезки, в соответствии с примерным вариантом осуществления;
[0024] ФИГ. 11 являются видом примерного краткосрочного RPS, в соответствии с примерным вариантом осуществления; и
[0025] ФИГ. 12А и 12B являются видами примерного RPS картинок, в соответствии с примерным вариантом осуществления.
ПОДРОБНОЕ ОПИСАНИЕ
[0026] В дальнейшем описании настоящее изобретение будет описываться подробно посредством объяснения предпочтительных вариантов осуществления изобретения со ссылками на сопроводительные чертежи. Подробное описание связанных известных функций или конфигураций будет опущено, чтобы не усложнять описание настоящего изобретения. Аналогичные ссылочные позиции в чертежах обозначают аналогичные элементы.
[0027] Термины и слова, которые используются в настоящем описании и приложенной формуле изобретения, не должны ограничиваться их общими значениями или словарными значениями, потому что автор может определять понятие терминов подходящим образом для описания его/ее изобретения лучшим способом. Поэтому, они должны быть истолкованы как имеющие значения и понятия, подходящие для понятия технологии и области настоящего изобретения. Поэтому, варианты осуществления и структуры, описанные в чертежах настоящего описания, являются просто примерными вариантами осуществления настоящего изобретения, и они не представляют полное технологическое понятие и объем настоящего изобретения. Поэтому, необходимо понимать, что может быть множество эквивалентов и модифицированных вариантов осуществления, которые могут заменять описанные в этой спецификации.
[0028] Принцип настоящего изобретения может быть применен к стандарту кодирования на основании произвольного интра кадра и интер кадра. Термин "картинка", используемый в настоящем описании, является включающим термином для обозначения различных форм информации видео изображения, которая может быть известна в данной области техники, такой как "кадр", "поле" и "вырезка" (слайс).
[0029] Опорная картинка может быть картинкой, которая может использоваться для интер предсказания блока в текущей картинке.
[0030] В общем, часть кодирования может идентифицировать опорные картинки посредством использования значения счета по порядку картинок (POC). Значение POC представляет относительный порядок отображения соответствующих картинок. Например, картинка, имеющая низкое значение POC, может быть отображена раньше, чем картинка, имеющая высокое значение POC. Порядок отображения и порядок декодирования картинок являются различными. Картинка, имеющая низкое значение POC, может не быть декодирована раньше, чем картинка, имеющая высокое значение POC. Кроме того, картинка, имеющая низкое значение POC, может быть декодирована раньше, чем картинка, имеющая высокое значение POC.
[0031] В соответствии с примерным вариантом осуществления, приводится описание на основании стандарта высокоэффективного кодирования видео (HEVC). Однако, оно не ограничено этим, и может быть применено к другим способам кодирования видео. Например, набор опорных картинок (RPS) описывается на основании стандарта HEVC, но RPS может быть применен к другим стандартам.
[0032] В дальнейшем один или более вариантов осуществления настоящего изобретения будут описываться более подробно со ссылками на сопроводительные чертежи.
[0033] ФИГ. 1А и 1B является блок-схемами внутренней структуры устройства кодирования 100 видео, в соответствии с вариантом осуществления настоящего изобретения.
[0034] Ссылаясь на ФИГ. 1A, устройство 100 кодирования видео может включать в себя блок 101 определения RPS и блок 102 определения способа сигнализации.
[0035] RPS относится к набору опорных картинок, которые способны использоваться в предсказывающем декодировании текущей картинки, которая должна быть декодирована. RPS может быть определен в наборе параметров последовательности (SPS) или заголовке вырезки. SPS является информацией заголовка, включающей в себя информацию относительно кодирования последовательности, такую как профиль, уровень и т.п. SPS может включать в себя множество наборов RPS, которые способны идентифицироваться в качестве индексов. Заголовок вырезки может включать в себя дополнительно определенный RPS дополнительно к RPS, определенному в SPS. Дополнительно определенный RPS может использоваться в картинке, соответствующей заголовку вырезки, включающей в себя RPS.
[0036] Опорные картинки, включенные в RPS, могут быть обозначены в качестве значения счета по порядку картинок (POC) на основании текущей картинки. Таким образом, когда значение POC текущей картинки, для которой может использоваться RPS, устанавливается в 0, значение POC опорной картинки может быть индицировано. Хотя могут существовать краткосрочный RPS и долгосрочный RPS, RPS в дальнейшем описании может быть краткосрочным RPS.
[0037] Способ определения RPS в заголовке вырезки в устройстве 100 кодирования видео, то есть, способ сигнализации RPS, включает в себя способ предсказания интер-RPS. В соответствии со способом предсказания интер-RPS, устройство 100 кодирования видео может сигнализировать RPS в заголовке вырезки для получения RPS, который должен быть использован в предсказывающем декодировании текущей картинки, посредством ссылки на один из наборов RPS, предварительно определенных в SPS. Подробно, устройство 100 кодирования видео может сигнализировать RPS посредством добавления дельта RPS к RPS и индекса RPS, на которые можно ссылаться при определении RPS, к битовому потоку. RPS может быть получен при декодировании части посредством добавления дельта RPS, которое является разностью между опорным RPS и RPS, к опорному RPS. Таким образом, RPS может быть получен посредством добавления дельта RPS к каждому из значений POC опорных картинок, включенных в опорный RPS. Опорным RPS является значение, предварительно определенное в SPS, и может быть идентифицировано в качестве индекса.
[0038] В соответствии с примерным вариантом осуществления, дельта RPS упомянутого RPS для использования в предсказывающем декодировании текущей картинки, может быть получен посредством того факта, что дельта RPS упомянутого RPS, который должен использоваться в предсказывающем декодировании текущей картинки, совпадает с разностью между значением POC текущей картинки и значением POC предыдущей картинки. В настоящем описании, предыдущая картинка может ссылаться на картинку, предшествующую текущей картинке, на основании порядка кодирования. Это вызывается тем, что опорная картинка текущей картинки должна быть опорной картинкой ранее выведенной картинки, или опорной картинкой ранее декодированной картинки. Таким образом, в соответствии с примерным вариантом осуществления, дельта RPS упомянутого RPS может быть получен посредством разности в POC между ранее декодированной картинкой и текущей картинкой. Соответственно, устройство 100 кодирования видео может сигнализировать RPS, используемый в предсказывающем декодировании текущей картинки, без добавления дельта RPS и индекса опорного RPS к битовому потоку. В настоящем описании часть декодирования может получать дельта RPS упомянутого RPS посредством разности между значениями POC текущей картинки и предыдущей картинки и получать RPS, используемый в предсказывающем декодировании предыдущей картинки, для получения RPS, который должен быть использован в предсказывающем декодировании текущей картинки из дельта RPS и RPS, используемого в предсказывающем декодировании предыдущей картинки.
[0039] Устройство 100 кодирования видео в соответствии с примерным вариантом осуществления может определять RPS, который должен быть использован в предсказывающем декодировании текущей картинки, и может добавлять флаг к битовому потоку на основании способа сигнализации RPS. Кроме того, устройство 100 кодирования видео может кодировать текущую картинку посредством использования определенного RPS.
[0040] Блок 101 определения RPS может определять RPS для использования в предсказывающем декодировании текущей картинки. Определенный RPS может сигнализироваться, в соответствии со способом сигнализации, определенном посредством блока 102 определения способа сигнализации.
[0041] Блок 102 определения способа сигнализации может определять, сигнализировать ли RPS на основании дельта RPS и может сигнализировать RPS на основании результата определения для сигнализации RPS, определенного посредством блока 101 определения RPS.
[0042] Ссылаясь на ФИГ. 1B, устройство 100 кодирования видео, в соответствии с настоящим вариантом осуществления, может включать в себя блок 110 определения RPS, блок 120 определения способа сигнализации, блок 130 добавления флага, блок 140 кодирования картинки и блок 150 вывода. Блок 110 определения RPS и блок 120 определения способа сигнализации на ФИГ. 1B, соответственно, соответствуют блоку 101 определения RPS и блоку 102 определения способа сигнализации на ФИГ. 1A, и таким образом, их подробное описание будет опущено. Блок 110 определения RPS может определять RPS, подлежащий использованию в предсказывающем декодировании текущей картинки.
[0043] Блок 120 определения способа сигнализации может определять способ сигнализации RPS, подлежащий использованию в предсказывающем декодировании текущей картинки. Блок 120 определения способа сигнализации может определять, определять ли RPS на основании дельта RPS, и может определять способ сигнализации RPS на основании результата определения. В соответствии с примерным вариантом осуществления, имеется два способа сигнализации RPS на основании дельта RPS. В соответствии с первым способом сигнализации, в устройстве 100 кодирования видео часть декодирования может определять дельта RPS на основании значения POC текущей картинки и предыдущей картинки и может сигнализировать RPS для определения RPS, подлежащего использованию в предсказывающем декодировании текущей картинки, на основании определенного дельта RPS. Кроме того, в соответствии со вторым способом сигнализации, в устройстве 100 кодирования видео часть декодирования может сигнализировать RPS для определения RPS, подлежащего использованию в предсказывающем декодировании текущей картинки на основании дельта RPS и индекса опорного RPS, используемого в предсказывающем декодировании текущей картинки. Часть декодирования может получать опорный RPS посредством использования индекса опорного RPS, переданного от устройства 100 кодирования видео, и может определять RPS, подлежащий использованию в предсказывающем декодировании текущей картинки на основании дельта RPS и опорного RPS.
[0044] Блок 130 добавления флага может добавлять флаг к битовому потоку, в соответствии со способом сигнализации, определенным посредством блока 120 определения способа сигнализации. Подробно, блок 130 добавления флага может добавлять значения флага, которые отличаются в соответствии с первым способом сигнализации и вторым способом сигнализации, к битовому потоку, Например, блок 130 добавления флага может установить значение флага на 1 в случае, когда RPS, подлежащий использованию в предсказывающем декодировании текущей картинки, сигнализируется посредством первого способа сигнализации. Блок 130 добавления флага может устанавливать значение флага на 0 в случае, когда RPS, подлежащий использованию в предсказывающем декодировании текущей картинки сигнализируется посредством второго способа сигнализации. Таким образом, часть декодирования может определять способ сигнализации на основании значения флага и определять RPS, подлежащий использованию в предсказывающем декодировании текущей картинки, на основании определенного способа сигнализации.
[0045] Блок 140 кодирования картинки может кодировать текущую картину посредством использования RPS, определенного посредством блока 110 определения RPS. Кодированная картинка может быть преобразована в битовый поток для передачи на устройство 200 декодирования видео с помощью блока 150 вывода.
[0046] Блок 150 вывода может выводить кодированную картинку и битовый поток, ассоциированные с информацией, необходимой для декодирования картинки. Флаг, добавленный к битовому потоку посредством блока 130 добавления флага, является информацией, необходимой для декодирования картинки, и может быть выведен посредством блока 150 вывода, будучи добавленным к битовому потоку.
[0047] ФИГ. 2А и 2B являются блок-схемами внутренней структуры устройства 100 декодирования видео, в соответствии с вариантом осуществления настоящего изобретения.
[0048] Ссылаясь на ФИГ. 2A, устройство 200 декодирования видео может включать в себя блок 201 определения RPS.
[0049] Блок 201 определения RPS может определять, определять ли RPS на основании дельта RPS и определять RPS на основании результата определения для определения RPS, который является набором опорных картинок, которые используются в предсказывающем декодировании текущей картинки.
[0050] Ссылаясь на ФИГ. 2B, устройство 200 декодирования видео может включать в себя блок 210 приема, блок 220 получения флага, блок 230 определения RPS, и блок 240 декодирования картинки. Блок 230 определения RPS на ФИГ. 2B соответствуют блоку 201 определения RPS на ФИГ. 2A, и таким образом, его описание не будет повторяться в настоящем описании.
[0051] Блок 210 приема может принимать битовый поток относительно кодированной картинки для выполнения синтаксического разбора.
[0052] Блок 220 получения флага может получить флаг для получения RPS в битовом потоке, для которого выполняется синтаксический разбор. В соответствии со значением флага, RPS, подлежащий использованию в предсказывающем декодировании текущей картинки, определяется на основании значений POC текущей картинки и предыдущей картинки, в соответствии с первым способом сигнализации. Альтернативно, RPS, подлежащий использованию в предсказывающем декодировании текущей картинки, определяется на основании дельта RPS и индекса опорного RPS, переданного от устройства 100 кодирования видео, в соответствии со вторым способом сигнализации.
[0053] Блок 230 определения RPS может определять RPS, подлежащий использованию в предсказывающем декодировании текущей картинки в соответствии с флагом, полученным блоком 220 получения флага. В соответствии с первым способом сигнализации, блок 230 определения RPS может определять дельта RPS упомянутого RPS на основании значения разности между значениями POC текущей картинки и предыдущей картинки, и может определять RPS, используемый в предсказывающем декодировании предыдущей картинки. Дополнительно, блок 230 определения RPS может добавлять определенный дельта RPS к RPS, используемому в предсказывающем декодировании предыдущей картинки для определения RPS, подлежащего использованию в предсказывающем декодировании текущей картинки. Таким образом, RPS может быть определен на основании значения дельта RPS, добавленного к каждому из значений POC опорных картинок, включенных в RPS, используемый в предсказывающем декодировании предыдущей картинки. Кроме того, в соответствии со вторым способом сигнализации, блок 230 определения RPS может получать опорный RPS посредством использования индекса опорного RPS, переданного от устройства 100 кодирования видео. Кроме того, блок 230 определения RPS может получать RPS, который должен использоваться в предсказывающем декодировании текущей картинки, посредством добавления дельта RPS, переданного от устройства 100 кодирования видео, к опорному RPS. Таким образом, RPS может быть определен, на основании значения дельта RPS, добавленного к каждому из значений POC опорных картинок, включенных в опорный RPS.
[0054] Блок 240 декодирования картинки может декодировать картинку посредством использования RPS, определенного блоком 230 определения RPS.
[0055] ФИГ. 3 является блок-схемой внутренней структуры блока 300 кодирования картинки, в соответствии с вариантом осуществления настоящего изобретения.
[0056] Ссылаясь на ФИГ. 3, блок 300 кодирования картинки может включать в себя блок 301 оценки перемещения, блок 302 компенсации движения, блок 303 интра предсказания, блок 305 преобразования, блок 306 квантования, блок 307 энтропийного кодирования, блок 308 обратного квантования, блок 309 обратного преобразования, блок 310 удаления блочности и блок 311 контурной фильтрации. Блок 300 кодирования картинки на ФИГ. 3 может соответствовать блоку 140 кодирования картинки на ФИГ. 1.
[0057] Блок 301 оценки движения может оценивать движение текущей картинки посредством использования опорных картинок, включенных в RPS, относительно текущей картинки, которая является картинкой, введенной в настоящее время с внешней стороны помимо картинок, формирующих видео.
[0058] Блок 302 компенсации движения может генерировать предсказывающую картинку текущей картинки посредством использования опорных картинок, включенных в RPS, относительно текущей картинки. Более подробно, блок 302 компенсации движения может генерировать предсказывающую картинку текущей картинки посредством использования движения текущей картинки, которая оценивается блоком 301 оценки движения.
[0059] Блок 303 интра предсказания может предсказывать каждый из блоков интра режима среди блоков, формирующих текущую картинку, для генерирования предсказывающей картинки текущей картинки.
[0060] Блок 305 преобразования может преобразовывать остаточную картинку, которая вычисляется посредством вычитания предсказывающей картинки из текущей картинки, из пространственной области в частотную область. Например, блок 305 преобразования может преобразовывать остаточную картину из пространственной области в частотную область посредством использования целочисленного преобразования дискретного преобразования Адамара (DHT) и дискретного косинусного преобразования (DCT).
[0061] Блок 306 квантования может квантовать частотные коэффициенты остаточной картинки, преобразованной посредством блока 305 преобразования.
[0062] Блок 307 энтропийного кодирования может генерировать битовый поток посредством результатов энтропийного кодирования квантования посредством блока 306 квантования. В частности, блок 307 энтропийного кодирования может выполнять энтропийное кодирование информации для декодирования видео, например, информации RPS, используемой в интер предсказании, информации вектора движения, информации местоположения соседних блоков, используемых в предсказании, дополнительно к результатам квантования посредством блока 306 квантования.
[0063] Блок 308 обратного квантования может выполнять обратное квантование результатов квантования посредством блока 306 квантования.
[0064] Блок 309 обратного преобразования может преобразовать результаты квантования посредством блока 308 обратного квантования. Таким образом, блок 309 обратного преобразования может преобразовать значения коэффициентов преобразования из частотной области в пространственную область для восстановления остаточной картинки текущей картинки и предсказывающей картинки.
[0065] Блок 310 удаления блочности и блок 311 контурной фильтрации могут адаптивно выполнять фильтрацию для картинки, восстановленной посредством блока 308 обратного квантования.
[0066] ФИГ. 4 является блок-схемой внутренней структуры блока декодирования картинки, в соответствии с вариантом осуществления настоящего изобретения.
[0067] Ссылаясь на ФИГ. 4, блок 400 декодирования картинки может включать в себя блок 401 синтаксического разбора, блок 403 энтропийного декодирования, блок 405 обратного квантования, блок 407 обратного преобразования, блок 409 интра предсказания, блок 415 компенсации движения, блок 411 удаления блочности и блок 413 контурной фильтрации. Блок 400 кодирования картинки на ФИГ. 4 может соответствовать блоку 240 декодирования картинки на ФИГ. 2.
[0068] Блок 401 синтаксического разбора может выполнять синтаксический разбор относительно данных кодированной картинки, которая должна быть декодирована, и относительно информации, относящейся к декодированию, которая необходима для кодирования из битового потока.
[0069] Блок 403 энтропийного декодирования может восстанавливать информацию для декодирования видео посредством энтропийного декодирования битового потока.
[0070] Блок 405 обратного квантования может восстанавливать значения коэффициентов преобразования посредством значений обратного квантования, восстановленных посредством блока 403 энтропийного декодирования.
[0071] Блок 407 обратного преобразования может восстанавливать остаточную картинку текущей картинки и предсказывающую картинку посредством преобразования значений коэффициента преобразования, восстановленных посредством блока 402 обратного квантования, из частотной области в пространственную область.
[0072] Блок 409 интра предсказания может генерировать предсказывающую картинку текущей картинки посредством предсказания значения блока текущей картинки из значения восстановленного блока, расположенного по соседству с блоком текущей картинки. Восстановленная картинка может быть сгенерирована посредством добавления остаточной картинки к предсказывающей картинке.
[0073] Блок 415 компенсации движения может генерировать предсказывающую картинку текущей картинки из опорных картинок, включенных в RPS, подлежащий использованию в предсказывающем декодировании текущей картинки. Восстановленная картинка может быть сгенерирована посредством добавления остаточной картинки к предсказывающей картинке.
[0074] Блок 411 удаления блочности и блок 413 контурной фильтрации могут адаптивно выполнять фильтрование для восстановленной картинки.
[0075] ФИГ. 5 является блок-схемой, иллюстрирующей способ сигнализации RPS, в соответствии с вариантом осуществления настоящего изобретения.
[0076] Ссылаясь на ФИГ. 5, устройство 100 кодирования картинки, в соответствии с примерным вариантом осуществления, может определять RPS, подлежащий использованию в предсказывающем декодировании текущей картинки на этапе S501. Таким образом, устройство 100 кодирования картинки может определять RPS, который является набором картинок, на которые ссылаются при кодировании текущей картинкой. Устройство 100 кодирования картинки может определять RPS, ссылаясь на индекс одного из наборов RPS, определенных в SPS, или может дополнительно определять RPS в заголовке вырезки дополнительно к RPS, определенному в SPS. В соответствии с примерным вариантом осуществления в случае, когда дополнительный RPS определяется в заголовке вырезки, в дополнение к RPS, определенному в SPS, RPS может быть определен посредством первого и второго способов сигнализации, которые будут описываться позже.
[0077] устройство 100 кодирования картинки может определять, получается ли RPS на основании дельта RPS, на этапе S503.
[0078] Устройство 100 кодирования картинки может сигнализировать RPS на основании результата определения операции S503 на этапе S505.
[0079] ФИГ. 6 является блок-схемой, иллюстрирующей способ сигнализации RPS, в соответствии с вариантом осуществления настоящего изобретения.
[0080] Ссылаясь на ФИГ. 6, устройство 100 кодирования картинки может сигнализировать RPS, подлежащий использованию в предсказывающем кодировании текущей картинки, на основании дельта RPS на этапе S601.
[0081] В случае, когда устройство 100 кодирования картинки сигнализирует RPS на основании дельта RPS, устройство 100 кодирования картинки может определять, получается ли RPS, на основании значения разности между значениями POC текущей картинки и предыдущей картинки для сигнализации RPS, подлежащий использованию в предсказывающем декодировании текущей картинки, в соответствии с первым способом сигнализации RPS, подлежащего использованию в предсказывающем декодировании текущей картинки, или получается ли RPS, на основании дельта RPS упомянутого RPS и индекса опорного RPS, на который можно ссылаться при определении RPS для сигнализации RPS, подлежащего использованию в предсказывающем декодировании текущей картинки, в соответствии со вторым способом сигнализации RPS, подлежащего использованию в предсказывающем декодировании текущей картинки, на этапе S603. В настоящем описании опорный RPS может быть одним из наборов RPS, предварительно определенных в SPS, и может быть идентифицирован в качестве индекса опорного RPS. Устройство 100 кодирования картинки может определять один из двух способов сигнализации, который имеет лучшую эффективность кодирования. Например, устройство 100 кодирования картинки может определять способ сигнализации RPS на основании стоимости «скорость передачи - искажения». Когда RPS сигнализируется посредством первого способа сигнализации, в соответствии с которым RPS получается на основании значения разности между значениями POC текущей картинки и предыдущей картинки на этапе S605, флаг, имеющий значение 1, может быть добавлен к предварительно определенной области битового потока на этапе S607. Посредством этого, RPS, подлежащий использованию в предсказывающем декодировании текущей картинки, может быть сигнализирован.
[0082] Когда RPS, подлежащий использованию в предсказывающем декодировании текущей картинки, сигнализируется посредством второго способа сигнализации в соответствии с которым дельта RPS и индекс опорного RPS сигнализируются на этапе S605, флаг, имеющий значение 0, может быть добавлен к предварительно определенной области битового потока на этапе S609.
[0083] В соответствии со вторым способом сигнализации, устройство 200 кодирования картинки нуждается в дельта RPS текущей картинки и индексе опорного RPS для получения RPS, подлежащего использованию в предсказывающем декодировании текущей картинки посредством способа интер RPS, и таким образом, дельта RPS текущей картинки, который кодируется, и индекс опорного RPS должны быть добавлены к битовому потоку.
[0084] Устройство 100 кодирования картинки может определять индекс опорного RPS, на который ссылается RPS для использоваться в предсказывающем декодировании текущей картинки на этапе S611. В настоящем описании устройство 100 кодирования картинки может определять индекс опорного RPS на основании эффективности кодирования. Опорный RPS является предварительно определенным в SPS и может быть идентифицирован в качестве индекса каждого RPS.
[0085] Устройство 100 кодирования картинки может получать дельта RPS посредством использования индекса опорного RPS, определенного на этапе S611, на этапе S613. Устройство 100 кодирования картинки может получать опорный RPS, определенный в SPS, посредством использования индекса опорного RPS, и может получать дельта RPS посредством получения разности между полученным опорным RPS и RPS, подлежащим использованию в предсказывающем декодировании текущей картинки.
[0086] Дополнительно значение, указывающее опорную картинку опорного RPS, к которому дельта RPS применяется, может быть определено на этапе S613. Например, когда опорный RPS равен {-1, 1, 3, 5}, RPS, подлежащий использованию в предсказывающем декодировании текущей картинки и подлежащий сигнализации, равен {-2, 0, 2}, и значение дельта RPS равно -1, определенный RPS может иметь то же значение что и RPS {-2, 0, 2}, только когда дельта RPS не применяется к значению POC четвертой опорной картинки при применении дельта RPS к опорному RPS. Таким образом {1, 1, 1, 0}, в котором четвертое значение для четвертой опорной картинки равно 0, может быть определено в качестве значения, указывающего опорную картинку, к которой применяется дельта RPS. Значение, указывающее опорную картинку, к которой применяется дельта RPS, может быть определено и сигнализировано посредством первого способа сигнализации, так же как и второго способа сигнализации.
[0087] Устройство 100 кодирования картинки может сигнализировать RPS, подлежащий использованию в предсказывающем декодировании текущей картинки, посредством кодирования индекса опорного RPS и дельта RPS для добавления к предварительно определенной области битового потока.
[0088] ФИГ. 7 является блок-схемой, иллюстрирующей способ определения RPS, в соответствии с вариантом осуществления настоящего изобретения.
[0089] Ссылаясь на ФИГ. 7, устройство 200 декодирования картинки может определять, определять ли RPS на основании дельта RPS для определения RPS, подлежащего использованию в предсказывающем декодировании текущей картинки, на этапе S701.
[0090] На этапе S703 устройство 200 декодирования картинки может определять RPS на основании результата определения этапа S701.
[0091] ФИГ. 8 является блок-схемой, иллюстрирующей способ определения RPS в соответствии с вариантом осуществления настоящего изобретения.
[0092] Ссылаясь на ФИГ. 8, когда устройство 200 декодирования картинки определяет RPS на основании дельта RPS, устройство 200 кодирования картинки может получать флаг, указывающий, используются ли первый способ сигнализации или второй способ сигнализации для определения RPS, подлежащего использованию в предсказывающем декодировании текущей картинки, на этапе S801.
[0093] Когда флагом является 1 на этапе S803, устройство 200 декодирования картинки может определять RPS, подлежащий использованию в предсказывающим декодировании текущей картинки, посредством использования первого способа сигнализации.
[0094] Устройство 200 декодирования картинки может получать значения POC текущей картинки и предыдущей картинки, в соответствии с первым способом сигнализации на этапе S805.
[0095] Устройство 200 декодирования картинки может получать дельта RPS текущей картинки посредством использования полученного значения POC на этапе S807. Таким образом, устройство 200 декодирования картинки может определять значение разности между значением POC текущей картинки и значением POC предыдущей картинки, в качестве дельта RPS упомянутого RPS, подлежащего использованию в предсказывающим декодировании текущей картинки.
[0096] Устройство 200 декодирования картинки может получать RPS, используемый в предсказывающем декодировании предыдущей картинки, где RPS способен использоваться в качестве опорного RPS для получения RPS, на этапе S809.
[0097] Устройство 200 декодирования картинки может получать RPS посредством использования дельта RPS и RPS, используемых в предсказывающем декодировании предыдущей картинки, на этапе S811. Таким образом, устройство 200 декодирования картинки может получать RPS посредством добавления дельта RPS к значениям POC опорных картинок, включенных в RPS, используемых в предсказывающем декодировании предыдущей картинки. В настоящем описании, RPS может быть получен посредством дополнительного использования значения, указывающего опорную картинку, к которой применяется дельта RPS.
[0098] Между тем, когда флаг равен 0 на этапе S803, устройство 200 декодирования картинки может определять RPS, подлежащий использованию в предсказывающем декодировании текущей картинки, посредством использования второго способа сигнализации.
[0099] Устройство 200 декодирования картинки может получать индекс опорного RPS и дельта RPS из предварительно определенной области битового потока на этапе S813.
[00100] Устройство 200 декодирования картинки может получать опорный RPS посредством использования индекса опорного RPS, полученного на этапе S813, на этапе S815. Опорный RPS может быть значением, предварительно определенным в SPS, которое может быть идентифицировано в качестве индекса.
[00101] Устройство 200 декодирования картинки может определять RPS, подлежащий использованию в предсказывающем декодировании текущей картинки на основании опорного RPS и дельта RPS, на этапе S817. Таким образом, устройство 200 декодирования картинки может получать RPS, подлежащий использованию в предсказывающем декодировании текущей картинки, посредством добавления дельта RPS к значениям POC опорных картинок опорного RPS. В настоящем описании, RPS, подлежащий использованию в предсказывающем декодировании текущей картинки, может быть определен на основании значения, указывающего опорную картинку опорного RPS, к которому может применяться дельта RPS.
[00102] ФИГ. 9 является видом примерного SPS, в соответствии с вариантом осуществления настоящего изобретения.
[00103] Ссылаясь на ФИГ. 9, num_short_term_ref_pic_sets (1) может быть определено в SPS, в качестве количества краткосрочных RPS, и short_term_ref_pic_set (i) (3) может быть определено в SPS, так же как значение num_short_term_ref_pic_sets (1). Как описывалось ранее, RPS, который является набором опорных картинок, который используется в предсказывающем декодировании картинки, может быть определен в SPS, и каждый RPS может быть идентифицирован в качестве индекса.
[00104] ФИГ. 10 является видом примерного заголовка вырезки, в соответствии с вариантом осуществления настоящего изобретения.
[00105] Ссылаясь на ФИГ. 10, когда краткосрочный RPS определяется в заголовке вырезки, 0 может быть добавлен к значению short_term_ref_pic_set_flag (5). Когда значением short_term_ref_pic_set_sps_flag (5) является 0, краткосрочный RPS может быть определен в short_term_ref_pic_set (num_short_term_ref_pic_sets) (7) из заголовка вырезки. RPS, определенный в заголовке вырезки, может быть значением, отличным от RPS, определенным в SPS.
[00106] ФИГ. 11 является видом примерного краткосрочного RPS, в соответствии с вариантом осуществления настоящего изобретения.
[00107] Ссылаясь на ФИГ. 11, краткосрочный RPS, который может быть определен в заголовке вырезки, иллюстрированном на ФИГ. 10, может быть определен в short_term_ref_pic_set (idx).
[00108] Значение inter_ref_pic_set_prediction_flag (9) может быть определено на основании того, определяется ли RPS посредством способа интер RPS.
[00109] В случае, если значением inter_ref_pic_set_prediction_flag является 1 в if(inter_ref_pic_set_prediction_flag) (11), idx является num_short_term_ref_pic_sets (13), то есть, в случае, когда индекс RPS является одинаковым с множеством краткосрочных наборов RPS, определенных в SPS, может быть определено значение derived_delta_rps_flag (15).
[00110] Индекс краткосрочного RPS, определенного в SPS, может иметь значение в диапазоне от 0 до num_short_term_ref_pic_sets - 1. Таким образом случай, в котором индекс RPS является таким же как количество краткосрочных наборов RPS, определенных в SPS, является случаем, в котором RPS, который не определен в SPS, определяется в заголовке вырезки. Таким образом, значение derived_delta_rps_flag (15) может быть определено в случае, когда RPS, который не определяется в SPS, определяется в заголовке вырезки.
[00111] Значение derived_delta_rps_flag (15) может соответствовать флагу, который может быть получен посредством добавления к битовому потоку в соответствии с примерным вариантом осуществления. Кроме того, RPS может быть сигнализирован на основании значения derived_delta_rps_flag (15).
[00112] В случае, когда derived_delta_rps_flag (15) равно 0, устройство 200 декодирования видео может получать RPS, подлежащий использованию в предсказывающем декодировании текущей картинки, посредством использования дельта RPS и индекса опорного RPS.
[00113] В случае, когда derived_delta_rps_flag (15) равно 1, дельта RPS и индекс опорного RPS могут быть получены из delta_idx_minus1 (19), delta_rps_sign (21) и abs_delta_rps_minus1 (23) посредством уравнений 1 и 2, представленных ниже.
[Уравнение 1]
DeltaRPS=(1-2*delta_rps_sign) * (abs_delta_rps_minus1+1)
[Уравнение 2]
RIdx=idx-(delta_idx_minus1+1)
[00114] В Уравнениях 1 и 2, DeltaRPS обозначает дельта RPS и RIdx обозначает индекс опорного RPS.
[00115] delta_rps_sign (21) может иметь значение 0 или 1, и каждое значение может обозначать отрицательное число или положительное число. abs_delta_rps_minus1 (23) является значением, в котором 1 вычитается из дельта RPS.
[00116] idx обозначает индекс краткосрочного RPS, определенного в заголовке вырезки, и delta_idx_minus1 (19) является значением индекса дельта, которое является значением, полученным посредством вычитания 1 из значения разности между RPS и индексом опорного RPS.
[00117] ФИГ. 12 А и 12B являются видами примерного RPS картинок, в соответствии с примерным вариантом осуществления. ФИГ. 12A иллюстрирует кадр, декодированный посредством произвольного доступа, в котором порядок декодирования и POC не являются одинаковыми, и ФИГ. 12B иллюстрирует кадр, декодированный посредством малой задержки, в которой порядок декодирования и POC являются одинаковыми.
[00118] Ссылаясь на ФИГ. 12А и 12B, POC 25 и 31, опорные картинки 27 и 33 и дельта RPS 29 и 35 указываются для каждого кадра. Номера кадров находятся в соответствии с порядком декодирования.
[00119] Дельта RPS 29 и 35 каждый является разностным значением между значениями POC опорных картинок, включенных в опорный RPS, и опорными картинками, включенными в RPS, подлежащий использованию в предсказывающем декодировании текущей картинки. В настоящем описании, значения POC опорных картинок основываются на текущей картинки 0. Опорный RPS для каждого кадра, иллюстрированного на ФИГ. 12A, является RPS, используемым в предсказывающем декодировании ранее декодированного кадра. Таким образом, ссылаясь на опорные картинки 27 и 33, RPS, используемый в предсказывающем декодировании предыдущей картинки, и RPS, используемый в предсказывающем декодировании текущей картинки, имеют разность, которая является одинаковой с дельта RPS 29.
[00120] Например, RPS кадра 4 равен {-1, 1, 3, 7} и RPS кадра 5 равен {-1,-3, 1, 5} на ФИГ. 12A. Кроме того, дельта RPS кадра 5 равен -2. Таким образом, RPS кадра 5 может быть получен посредством добавления дельта RPS к RPS на ФИГ. 4. Таким образом, RPS кадра 5 может быть {-1-2=-3, 1-2=-1, 3-2=1, 7-2=5}. Однако, случай, в котором дельта RPS является добавленным к значению POC RPS, может быть ограничен значением опорного idcs 30. Таким образом, RPS, подлежащий использованию в предсказывающем декодировании текущей картинки, может быть получен посредством добавления дельта RPS только к значению POC, в котором значением опорного idcs 30 является 1. Значение опорного idcs 30 и 36 может соответствовать значению, указывающему опорную картинку RPS, к которому может быть применен дельта RPS.
[00121] Между тем, при сравнении наборов дельта RPS 29 и 35 и POC 25 и 31, значение разности между текущей картинкой и предыдущей является одинаковым с дельта RPS 29 и 35 для каждого кадра. Это вызвано тем, что опорная картинка текущей картинки должна быть опорной картинкой ранее выведенной картинки или опорной картинкой ранее декодированной картинки. Таким образом, в соответствии с одним или более вышеупомянутыми примерными вариантами осуществления, устройство 200 декодирования видео может получать дельта RPS упомянутого RPS, подлежащего использованию в предсказывающем декодировании текущей картинки, посредством использования значения разности в POC между ранее декодированной картинкой и текущей картинкой, без необходимости того, чтобы дельта RPS был явно закодированным и переданным.
[00122] Как описано выше, в соответствии с одним или более вышеупомянутыми примерными вариантами осуществления, устройство 200 декодирования видео может получать дельта RPS посредством использования значения разности в POC между текущей картинкой и предыдущей картинкой без необходимости того, чтобы дельта RPS был явно закодированным и переданным с помощью устройства 100 кодирования видео для сигнализации дельта RPS для получения RPS, подлежащего использованию в предсказывающем декодировании текущей картинки. Поэтому, количество битов, закодированных в устройстве 100 кодирования видео, может быть сокращено.
[00123] Изобретение может также быть реализовано в качестве считываемых компьютером кодов на считываемом компьютером носителе записи. Считываемым компьютером носитель записи является любым устройством хранения данных, которое может хранить данные, которые могут быть затем считаны посредством компьютерной системы. Примеры считываемого компьютером носителя записи включают в себя постоянную память (ROM), память произвольного доступа (RAM), CD-ROM, магнитные ленты, дискеты, устройства хранения данных оптическим способом и т.д.
[00124] Необходимо понимать, что примерные варианты осуществления, описанные в настоящем описании, необходимо рассматривать только в качестве описания, а не в целях ограничения. Описания признаков или аспектов в каждом варианте осуществления должно рассматриваться только как доступное для других аналогичных признаков или аспектов в других вариантах осуществления.
[00125] В то время как, один или более вариантов осуществления настоящего изобретения были описаны со ссылками на чертежи, специалистам в данной области техники должно быть очевидно, что различные изменения в форме и описании могут быть сделаны, не отступая от сущности и объема настоящего изобретения, как определено в последующей формуле изобретения.
1. Устройство декодирования видео, содержащее:
блок приема, который принимает битовый поток кодированного видео; и
блок определения набора опорных картинок, который получает из части битового потока, относящейся к набору параметров последовательности,
определяет, равен ли индекс текущего набора опорных картинок количеству наборов опорных картинок;
когда индекс текущего набора опорных картинок равен упомянутому количеству наборов опорных картинок, получает из битового потока информацию дельты о разности между индексом текущего набора опорных картинок и индексом набора-кандидата опорных картинок;
определяет индекс набора-кандидата опорных картинок на основании информации дельты; и
определяет текущий набор опорных картинок на основании индекса набора-кандидата опорных картинок.
2. Устройство по п. 1, причем набор опорных картинок получают из по меньшей мере одной из первой части битового потока и второй части битового потока, при этом первая часть относится к упомянутому набору параметров последовательности, а вторая часть относится к заголовку вырезки.
3. Устройство по п. 2, причем индекс набора опорных картинок, который определяют на основании первой части битового потока, меньше, чем упомянутое количество наборов опорных картинок, а индекс набора опорных картинок, который определяют на основании второй части битового потока, равен упомянутому количеству наборов опорных картинок.
4. Устройство по п. 2, причем информация дельты указывает значение, полученное вычитанием 1 из разности между индексом текущего набора опорных картинок и индексом набора-кандидата опорных картинок.
5. Устройство по п. 2, причем набор-кандидат опорных картинок является набором опорных картинок, полученных из второй части битового потока.
6. Способ кодирования видео, содержащий
определение наборов опорных картинок, доступных для предсказания текущего изображения;
генерирование информации о количестве наборов опорных картинок, включенных в часть битового потока, относящуюся к набору параметров последовательности;
генерирование информации дельты о разности между индексом текущего набора опорных картинок и индексом набора-кандидата опорных картинок, причем информацию дельты генерируют, чтобы использовать ее для определения текущего набора опорных картинок, когда индекс текущего набора опорных картинок равен упомянутому количеству наборов опорных картинок в части битового потока, относящейся к набору параметров последовательности;
генерирование битового потока, включающего в себя информацию об упомянутом количестве наборов опорных картинок в части битового потока, относящейся к набору параметров последовательности и информации дельты.
7. Устройство кодирования видео, содержащее:
по меньшей мере один процессор, выполненный с возможностью определения наборов опорных картинок, доступных для предсказания текущего изображения, генерирования информации о количестве наборов опорных картинок, включенных в часть битового потока, относящуюся к набору параметров последовательности, генерирования информации дельты о разности между индексом текущего набора опорных картинок и индексом набора-кандидата опорных картинок, причем информация дельты генерируется, чтобы использовать ее для определения текущего набора опорных картинок, когда индекс текущего набора опорных картинок равен упомянутому количеству наборов опорных картинок в части битового потока, относящейся к набору параметров последовательности, генерирования битового потока, включающего в себя информацию об упомянутом количестве наборов опорных картинок в части битового потока, относящейся к набору параметров последовательности и информации дельты.
8. Способ кодирования видео, содержащий:
определение наборов опорных картинок, доступных для предсказания текущего изображения;
генерирование информации о количестве наборов опорных картинок, включенных в часть битового потока, относящуюся к набору параметров последовательности;
генерирование информации дельты о разности между индексом текущего набора опорных картинок и индексом набора-кандидата опорных картинок, причем информацию дельты генерируют, чтобы использовать ее для определения текущего набора опорных картинок, когда индекс текущего набора опорных картинок равен упомянутому количеству наборов опорных картинок в части битового потока, относящейся к набору параметров последовательности;
генерирование битового потока, включающего в себя информацию об упомянутом количестве наборов опорных картинок в части битового потока, относящейся к набору параметров последовательности, и информацию дельты,
причем информация об упомянутом количестве наборов опорных картинок, включенных в часть битового потока, относящуюся к набору параметров последовательности, включена в часть битового потока, относящуюся к набору параметров последовательности.
9. Невременный считываемый компьютером носитель, хранящий битовый поток, содержащий:
информацию о количестве наборов опорных картинок, которые включены в набор параметров последовательности и доступны для предсказания текущего изображения; и
информацию дельты о разности между индексом текущего набора опорных картинок и индексом набора-кандидата опорных картинок,
причем информация дельты генерируется, чтобы использовать ее для определения текущего набора опорных картинок, когда индекс текущего набора опорных картинок равен упомянутому количеству наборов опорных картинок, включенных в набор параметров последовательности.
10. Невременный считываемый компьютером носитель, хранящий битовый поток, содержащий:
информацию о количестве наборов опорных картинок, которые включены в набор параметров последовательности и доступны для предсказания текущего изображения; и
информацию дельты о разности между индексом текущего набора опорных картинок и индексом набора-кандидата опорных картинок, причем информация дельты генерируется, чтобы использовать ее для определения текущего набора опорных картинок, когда индекс текущего набора опорных картинок равен упомянутому количеству наборов опорных картинок, включенных в набор параметров последовательности,
причем информация об упомянутом количестве наборов опорных картинок, включенных в набор параметров последовательности, включена в набор параметров последовательности.
11. Невременный считываемый компьютером носитель, хранящий битовый поток, содержащий:
информацию о количестве наборов опорных картинок, которые включены в набор параметров последовательности и доступны для предсказания текущего изображения; и
информацию дельты о разности между индексом текущего набора опорных картинок и индексом набора-кандидата опорных картинок, причем информация дельты генерируется, чтобы использовать ее для определения текущего набора опорных картинок, когда индекс текущего набора опорных картинок равен упомянутому количеству наборов опорных картинок, включенных в набор параметров последовательности, и
причем значение, относящееся к индексу набора-кандидата опорных картинок, меньше значения, относящегося к индексу текущего набора опорных картинок.
