Способ и устройство обработки изображения, программа обработки изображения и запоминающий носитель, который хранит программу
Изобретение относится к способу обработки изображения, в частности к фильтрации изображения. Техническим результатом является обеспечение адаптивного процесса фильтрации изображений для обеспечения высокого качества изображения. Указанный технический результат достигается тем, что осуществляют определение первой полосы пропускания (ПП) на основе данных исходного изображения; вычисление матрицы коэффициентов фильтра (КФ) для реализации частотных характеристик, соответствующих ограничению по полосе частот (ПЧ), используя первую ПП; формирование данных первого фильтрованного изображения посредством фильтрации данных исходного изображения, используя матрицу первых КФ; получение значения оценки объективного качества изображения данных первого фильтрованного изображения и вычисление коэффициента распределения (КР), используемого для определения оптимальной ПП, на основе значения оценки объективного качества изображения; определение оптимальной ПП, соответствующей вычисленному КР, посредством обращения к таблице, в которой определяется соответствующее отношение между КР и оптимальной ПП; вычисление матрицы оптимальных КФ для реализации частотных характеристик, соответствующих ограничению по ПЧ, используя оптимальную ПП; и формирование данных оптимально фильтрованного изображения посредством фильтрации данных исходного изображения, используя матрицу оптимальных КФ. 3 н.п. ф-лы, 11 ил.
Область техники
Настоящее изобретение относится к способу обработки изображения и соответствующему устройству, используемому для выполнения упрощенной операции фильтрации для преобразования исходного изображения в изображение, имеющее конкретное значение объективной оценки изображения, и также относится к программе обработки изображения, используемой для реализации способа обработки изображения, и машиночитаемый запоминающий носитель, который хранит программу.
Приоритет заявляется по Японской заявке на патент № 2006-182931, поданной 3 июля 2006, содержание которой включено сюда посредством ссылки.
Уровень техники
Известно, что предварительный фильтр, который часто используется в предварительной обработке видеокодирования, эффективен для уменьшения блочного искажения, москитного шума и аналогичного, сопровождаемого кодированием, тем самым улучшая субъективное качество изображения. Ширина полосы пропускания (называемая ниже «полоса пропускания») используемого предварительного фильтра ограничивается для того, чтобы уменьшить шум, содержащийся в исходном изображении, и улучшить эффективность кодирования. Однако, если полоса пропускания сильно ограничивается, качество изображения сильно уменьшается.
Фиг.7 показывает способ обработки изображения, включающий в себя ограничение полосы частот.
Как показано на Фиг.7, в способе обработки изображения, включающем в себя ограничение полосы частот, сначала вводятся данные B(1) исходного изображения и затем преобразуются в частотный компонент I(1) (см. этап S100). Частотный компонент I(1) подвергается ограничению по полосе частот, используя полосу пропускания r1 (0<r1<1), с тем, чтобы получить частотный компонент I(r1) (см. этап S101). Частотный компонент I(r1) подвергается преобразованию изображения, тем самым формируя данные B(r1) фильтрованного изображения (см. этап S102).
Когда такая обработка изображения применяется для всех кадров видеоизображения посредством использования одинаковой полосы пропускания, качество изображения каждого фильтрованного кадра не одинаково, т.к. каждый кадр имеет индивидуальные частотные характеристики изображения. То есть изображение, имеющее большое количество низкочастотных компонентов, имеет только небольшое отличие от исходного изображения и, таким образом, уменьшение в субъективных и объективных качествах изображения мало. Однако в изображении, имеющем большое количество высокочастотных компонентов, края или подобное сглаживаются и размываются, что сильно уменьшает субъективное и объективное качество изображения.
В качестве значения объективной оценки изображения, например, часто используется PSNR (Отношение максимального сигнала к шуму). С определенным уровнем (S) сигнала и уровнем (N) шума PSNR выражается следующей формулой:
PSNR=20·log10(S/N)
В способе решения указанной выше проблемы управление субъективным и объективным качеством изображения выполняется посредством «циклического» ограничения полосы частот, применяемого к каждому изображению.
Фиг.8 показывает структуру устройства 100 формирования оптимально фильтрованного изображения для формирования данных оптимально фильтрованного изображения посредством выполнения «циклического» ограничения полосы.
Как показано на Фиг.8, устройство 100 формирования оптимально фильтрованного изображения включает в себя блок 101 ввода данных исходного изображения, блок 102 анализа частотного компонента, блок 103 ручного выбора полосы пропускания, блок 104 ограничения полосы частот, блок 105 формирования данных изображения, блок 106 вычисления PSNR, блок 107 оценки изображения и блок 108 вывода данных изображения, оптимально ограниченного по полосе частот.
Фиг.9 показывает способ обработки изображения для формирования данных оптимально фильтрованного изображения посредством выполнения «циклического» ограничения полосы частот, при этом способ выполняется в устройстве 100 формирования оптимально фильтрованного изображения, имеющем указанную выше структуру.
В устройстве 100 формирования оптимально фильтрованного изображения сначала данные B(1) исходного изображения вводятся в блок 101 ввода данных исходного изображения и затем преобразуются в частотный компонент I(1) в блоке 102 анализа частотного компонента (см. этап S200).
Затем в блоке 103 ручного выбора полосы пропускания вручную выбирается предварительная полоса пропускания r1 (см. этап S201). Затем в блоке 104 ограничения полосы частот преобразованный частотный компонент I(1) подвергается ограничению по полосе частот, используя выбранную полосу пропускания r1 для того, чтобы получить частотный компонент I(r1) (см. этап S202).
Далее в блоке 105 формирования данных изображения частотный компонент I(r1) подвергается преобразованию изображения, тем самым формируя данные B(r1) изображения (см. этап S203). В блоке 106 вычисления PSNR данные B(1) исходного изображения сравниваются с данными B(r1) изображения для вычисления RSNR(r1) (обозначен «P(r1)» ниже) (см. этап S204).
В блоке 107 оценки изображения определяется, вычисленный P(r1) имеет ли желаемое качество изображения (см. этап S205). Если он имеет желаемое качество изображения, блок 108 выдачи данных изображения, оптимально ограниченного по полосе частот, выдает данные B(r1) изображения в качестве данных изображения, оптимально ограниченных по полосе частот (т.е. данные оптимально фильтрованного изображения) (см. этап S206).
Однако редко случается, что P(r1), полученное в первой очереди обработки, имеет желаемое качество изображения. Когда оно не имеет желаемого качества изображения, операция возвращается к процессу (на этапе S201), выполняемому блоком 103 ручного выбора полосы пропускания и полоса пропускания (r2) выбирается снова так, чтобы соответствующее изображение, ограниченное по полосе частот, имело качество ближе к желаемому качеству изображения. Затем ограничение полосы частот, формирование изображения и вычисление PSNR снова выполняются аналогично.
То есть описанная выше операция повторяется N раз до тех пор, пока не получится желаемое качество изображения, и полоса пропускания rN, которая окончательно получается, используется в качестве оптимальной полосы пропускания для формирования данных B(rN) изображения посредством блока 108 вывода данных изображения, оптимально ограниченного по полосе частот. Сформированные данные B(rN) изображения выдаются в качестве данных изображения, оптимально ограниченного по полосе частот (т.е. данные оптимально фильтрованного изображения) (см. этап S206).
Однако в указанном выше способе различные видеоизображения и все кадры, которые формируют их, подвергаются фильтрованию, оценивается субъективное или объективное качество изображения каждого полученного сигнала изображения, и соответствующая операция повторяется «циклически» до тех пор, пока не получится одинаковое качество изображения для всех кадров видеоизображений. Указанный выше способ не пригоден и не осуществим с точки зрения оценки затрачиваемого времени и стоимости, когда обрабатывается множество изображений.
Для решения указанной выше проблемы в известном методе (см. Патентный документ 1), обработка изображения выполняется путем получения оптимальной полосы пропускания на основе кодирования данных (видео) изображения.
Фиг.10 показывает структуру устройства 200 формирования оптимально фильтрованного изображения для формирования данных оптимально фильтрованного изображения, используя кодирование данных.
Как показано на Фиг.10, устройство 200 формирования оптимально фильтрованного изображения включает в себя блок 201 ввода данных исходного изображения, блок 202 анализа частотного компонента, блок 203 кодирования данных изображения, блок 204 определения оптимально ограниченной полосы пропускания, блок 205 ограничения полосы частот, блок 206 формирования данных изображения и блок 207 вывода данных изображения, оптимально ограниченного по полосе частот.
Фиг.11 показывает способ обработки изображения для формирования данных оптимально фильтрованных изображений посредством использования кодирования данных, при этом способ выполняется в устройстве 200 формирования оптимально фильтрованного изображения, имеющего указанную выше структуру.
В устройстве 200 формирования оптимально фильтрованного изображения сначала данные B(1) исходного изображения вводятся в блок 201 ввода данных исходного изображения и затем преобразуются в частотный компонент I(1) в блоке 202 анализа частотного компонента (см. этап S300).
Затем в блоке 203 кодирования данных изображения входные данные B(1) исходного изображения кодируются (см. этап S301). На основе количества кодов, полученных соответствующим кодированием, определяется оптимальная полоса пропускания r1 в блоке 204 определения оптимально ограниченной полосы пропускания (см. этап S203).
В блоке 205 ограничения полосы частот преобразованный частотный компонент I(1) подвергается ограничению по полосе частот с использованием определенной полосы пропускания r1 с тем, чтобы получить частотный компонент I(r1) (см. этап S203). В блоке 206 формирования данных изображения частотный компонент I(r1) подвергается преобразованию изображения, тем самым формируя данные B(r1) изображения (см. этап S304).
В заключение данные B(r1) изображения выдаются в качестве данных изображения, оптимально ограниченных по полосе частот (т.е. данных оптимально фильтрованного изображения), из блока 207 выдачи данных изображения, оптимально ограниченного по полосе частот (см. этап S305).
Соответственно в обычном устройстве 200 формирования оптимально фильтрованного изображения, сформированном, как показано на Фиг.10, после того, как выполняется кодирование, оптимальная полоса пропускания определяется на основе данных кодирования, полученных посредством кодирования. Поэтому данные оптимально фильтрованного изображения получаются без выполнения повторяющейся операции, которая требуется в устройстве 100 формирования оптимально фильтрованного изображения, сформированном, как показано на Фиг.8.
Патентный документ 1: Японская заявка на патент, не прошедшая экспертизу, первая публикация № H06-225276.
Конечно в соответствии с обычным устройством 200 формирования оптимально фильтрованного изображения, сформированным, как показано на Фиг.10, данные оптимально фильтрованного изображения могут формироваться без выполнения повторяющейся операции, которая требуется в устройстве 100 формирования оптимально фильтрованного изображения, сформированном, как показано на Фиг.8.
Однако в устройстве 200 формирования оптимально фильтрованного изображения на Фиг.10 после того, как выполняется кодирование, определяется оптимальная полоса пропускания на основе данных кодирования, полученных посредством кодирования.
В таком способе, использующем данные кодирования, процесс ограничения полосы частот и процесс кодирования неразрывны. Поэтому, даже если пользователь желает выполнить только процесс предварительной фильтрации, используя оптимальную полосу пропускания, также необходимо выполнить кодирование. Если кодирование также выполняется после процесса предварительной фильтрации, кодирование будет выполняться дважды. В частности, если размер изображения большой, то требуется много времени на обработку.
При обсуждении указанного выше для оптимизации полосы пропускания для предварительного фильтра предпочтительно использовать способ, который может упрощать соответствующую обработку и которым можно свободно управлять с помощью, например, PSNR (в качестве стандарта оценки объективного качества изображения), по сравнению со способом, использующим данные кодирования (например, число кодов).
Сущность изобретения
В свете указанных выше обстоятельств объект настоящего изобретения обеспечивает новый способ обработки изображения, посредством которого адаптивный процесс фильтрации для изображений может автоматически выполняться без выполнения процесса кодирования с тем, чтобы выполнять упрощенный адаптивный процесс фильтрации и все кадры видеоизображения имели высокое субъективное качество изображения и одинаковое значение оценки объективного качества изображения.
Поэтому настоящее изобретение обеспечивает устройство обработки изображения, содержащее: (1) средство определения первой полосы пропускания на основе размера изображения входных данных исходного изображения; (2) средство вычисления матрицы первых коэффициентов фильтра для реализации частотных характеристик, соответствующих ограничению по полосе частот, используя первую полосу пропускания; (3) средство формирования данных первого фильтрованного изображения посредством выполнения процесса фильтрации данных исходного изображения, используя матрицу первых коэффициентов фильтра; (4) средство получения значения оценки объективного качества изображения данных первого фильтрованного изображения и вычисления коэффициента распределения, используемого для определения оптимальной полосы пропускания, на основе значения оценки объективного качества изображения; (5) средство определения оптимальной полосы пропускания, соответствующей вычисленному коэффициенту распределения, посредством обращения к таблице определения оптимальной полосы пропускания, в которой определяется соответствующее соотношение между коэффициентом распределения и оптимальной полосой пропускания; (6) средство вычисления матрицы оптимальных коэффициентов фильтра для реализации частотных характеристик, соответствующих ограничению полосы частот, используя определенную оптимальную полосу пропускания; и (7) средство формирования данных оптимально фильтрованного изображения посредством выполнения процесса фильтрации данных исходного изображения, используя матрицу оптимальных коэффициентов фильтра.
Указанная выше структура может использовать таблицу определения первой полосы пропускания, в которой определяется соответствующее отношение между размером изображения и первой полосой пропускания. В этом случае средство определения первой полосы пропускания определяет первую полосу пропускания, соответствующую размеру изображения данных исходного изображения, посредством обращения к таблице определения первой полосы пропускания.
Дополнительно, множество таблиц определения оптимальных полос пропускания может обеспечиваться в соответствии с размером изображения и значением оценки заданного объективного качества изображения. В этом случае средство определения оптимальной полосы пропускания выбирает таблицу определения оптимальной полосы пропускания, которая соответствует размеру изображения данных исходного изображения и определенному значению оценки заданного объективного качества изображения, и определяет оптимальную полосу пропускания, соответствующую коэффициенту распределения (вычисленному средством вычисления коэффициента распределения) посредством обращения к выбранной таблице определения оптимальной полосы пропускания.
Способ обработки изображения согласно настоящему изобретению, который используется, когда работают описанные выше устройства, может также быть реализован с использованием компьютерной программы. Такая компьютерная программа может обеспечиваться посредством сохранения ее в соответствующем машиночитаемом запоминающем носителе или через сеть. Когда настоящее изобретение реализуется, программа устанавливается и работает в устройстве управления, таком как CPU.
В устройстве обработки изображения, реализованном, как описано выше, когда вводятся данные исходного изображения, первая полоса пропускания в соответствии с размером изображения данных исходного изображения определяется посредством, например, обращения к таблице определения первой полосы пропускания.
Затем вычисляется матрица первых коэффициентов фильтра для реализации частотных характеристик, соответствующих ограничению по полосе частот, используя определенную первую полосу пропускания, и выполняют процесс фильтрации данных исходного изображения, используя вычисленную матрицу первых коэффициентов фильтра, тем самым формируя данные первого фильтрованного изображения.
Затем в примере, в котором PSNR используется в качестве значения оценки объективного качества изображения, получается PSNR сформированных данных первого фильтрованного изображения для данных исходного изображения и на основе этого PSNR, которое получается, когда не применяется ограничение по полосе частот к данным исходного изображения, может получаться на основе указанного полученного PSNR с тем, чтобы вычислить коэффициент распределения, используемый для определения оптимальной полосы пропускания.
Затем выбирается таблица определения оптимальной полосы пропускания, соответствующая размеру изображения данных исходного изображения, и определенный заданный PSNR, и оптимальная полоса пропускания, соответствующая вычисленному коэффициенту распределения, определяется посредством обращения к выбранной таблице определения оптимальной полосы пропускания.
Затем вычисляется матрица оптимальных коэффициентов фильтра для реализации частотных характеристик, соответствующих ограничению по полосе частот, используя определенную полосу пропускания, и выполняется процесс фильтрации данных исходного изображения, используя матрицу коэффициентов оптимального фильтра, тем самым формируя данные оптимально фильтрованных данных.
В соответствии с настоящим изобретением процесс фильтрации для преобразования исходного изображения в изображение, имеющее конкретное значение оценки объективного качества изображения, может автоматически выполняться без выполнения процесса кодирования.
Поэтому в соответствии с настоящим изобретением, возможно автоматически выполнять процесс адаптивной фильтрации, посредством которого все кадры видеоизображения имеют высокое субъективное качество изображения и одинаковое значение оценки объективного качества изображения без выполнения процесса кодирования. Поэтому возможно выполнять упрощенное и рациональное ограничение полосы частот.
Краткое описание чертежей
Фиг.1 показывает устройство формирования оптимально фильтрованного изображения в качестве варианта осуществления настоящего изобретения.
Фиг.2 - блок-схема, используемая для объяснения таблицы определения первой полосы пропускания.
Фиг.3 - блок-схема, используемая для объяснения таблицы определения оптимальной полосы пропускания.
Фиг.4 - также блок-схема, используемая для объяснения таблицы определения оптимальной полосы пропускания.
Фиг.5 - алгоритм работы, выполняемой устройством формирования оптимально фильтрованного изображения варианта осуществления.
Фиг.6 - блок-схема, используемая для объяснения результатов экспериментов получения соответствующих отношений между полосой пропускания и PSNR.
Фиг.7 - блок-схема, используемая для объяснения способа обработки изображения, включая ограничение полосы частот.
Фиг.8 показывает структуру устройства формирования оптимально фильтрованного изображения для формирования данных оптимально фильтрованного изображения посредством выполнения «циклического» ограничения по полосе частот.
Фиг.9 - алгоритм работы, выполняемый устройством формирования оптимально фильтрованного изображения для формирования данных оптимально фильтрованного изображения посредством выполнения «циклического» ограничения по полосе частот.
Фиг.10 показывает структуру обычного устройства формирования оптимально фильтрованного изображения.
Фиг.11 - алгоритм работы, выполняемый обычным устройством формирования оптимально фильтрованного изображения.
Наилучший режим для выполнения изобретения
Ниже, настоящее изобретение будет объяснено подробно в соответствии с вариантом осуществления.
Фиг.1 показывает устройство 1 формирования оптимально фильтрованного изображения в качестве варианта осуществления настоящего изобретения.
В соответствии с устройством 1 формирования оптимально фильтрованного изображения настоящего варианта осуществления процесс адаптивной фильтрации изображения может автоматически выполняться без выполнения процесса кодирования с тем, чтобы реализовать упрощенный процесс адаптивной фильтрации и все кадры видеоизображения имели высокое субъективное качество изображения и одинаковые PSNR. Поэтому устройство 1 формирования оптимально фильтрованного изображения включает в себя таблицу 10 определения первой полосы пропускания (фактически, блок памяти для хранения таблицы определения первой полосы пропускания); таблица 11 определения оптимальной полосы пропускания (фактически, блок памяти для хранения таблиц определения оптимальной полосы пропускания); блок 12 ввода исходного изображения; блок 13 определения первой полосы пропускания; блок 14 вычисления матрицы первых коэффициентов фильтра; блок 15 формирования данных первого фильтрованного изображения; блок 16 вычисления коэффициентов распределения; блок 17 выбора таблицы определения оптимальной полосы пропускания; блок 18 определения оптимальной полосы пропускания; блок 19 вычисления матрицы оптимальных коэффициентов фильтра; блок 20 формирования данных оптимально фильтрованного изображения; и блок 21 выдачи данных оптимально фильтрованного изображения.
Как показано на Фиг.2, таблица 10 определения первой полосы пропускания управляет данными значения первой полосы пропускания r1 в соответствии с каждым размером изображения, при этом первая полоса пропускания r1 используется для обработки изображения соответствующего размера изображения. Например, соответствующим отношением между размером изображения и первой полосой пропускания r1 управляют таким образом, что первая полоса пропускания r1 равна C1 для изображения, имеющего размер изображения 4096×2048 пикселов, и r1 равна C2 для изображения, имеющего размер изображения 1920×1080 пикселов.
Здесь таблица задается таким образом, что большой размер изображения, малая первая полоса пропускания r1. Поэтому значения Ci первой полосы пропускания r1, показанной на Фиг.2, имеют следующее отношение:
0<C1<C2<C3<C4<C5<C6<C7< … <1
Таблица 10 определения первой полосы пропускания на Фиг.2 имеет структуру таблицы, которая показывает значение первой полосы пропускания r1 для каждого размера изображения. Однако другая структура таблицы может использоваться, которая показывает значение первой полосы пропускания r1 для каждого диапазона размеров изображения.
Как показано на Фиг.3 в таблице 11 определения оптимальной полосы пропускания, множество заданных PSNR назначается для каждого размера изображения и предоставляется множество таблиц для всех комбинаций. Как показано на Фиг.4, каждая таблица для каждого заданного PSNR, назначенного для размера изображения, управляет данными значения оптимальной полосы пропускания r2 (используемой для выполнения заданного PSNR), назначенными для каждого коэффициента X распределения (объяснено позже) в его диапазоне значений.
Например, соответствующее отношение между диапазоном коэффициента X распределения и оптимальной полосой пропускания r2 (используемой для реализации заданного PSNR) управляется таким образом, что оптимальная полоса пропускания r2 является: B1 для каждого коэффициента X распределения в диапазоне X<A1; B2 для каждого коэффициента X в диапазоне A1≤X<A2; и B3 для каждого коэффициента распределения в диапазоне A2≤X<A2.
Ai(i=1 до n-1) имеет следующее отношение:
0<A1<A2<A3< … <An-2<An-1
В соответствии с заданием такого большего коэффициента X распределения, большей оптимальной полосы пропускания r2 получается следующее отношение:
0<B1<B2<B3< … <Bn-2<Bn-1<Bn<1
Блок 12 ввода данных исходного изображения принимает данные B(1) исходного изображения, для которого формируются данные оптимально фильтрованного изображения, и определяет размер V изображения данных B(1) исходного изображения.
Блок 13 определения первой полосы пропускания обращается к таблице 10 определения первой полосы пропускания, используя размер V изображения (определенный блоком 12 ввода данных исходного изображения) в качестве ключа с тем, чтобы определить первую полосу пропускания r1, определенную в соответствии с размером V изображения.
Блок 14 вычисления матрицы первых коэффициентов фильтра вычисляет матрицу первых коэффициентов фильтра для реализации частотных характеристик, соответствующих ограничению по полосе частот, используя первую полосу пропускания r1, определенную блоком 13 определения первой полосы пропускания.
Блок 15 формирования данных первого фильтрованного изображения выполняет процесс фильтрации данных B(1) исходного изображения, используя матрицу первых коэффициентов фильтра, которая вычисляется блоком 14 вычисления матрицы первых коэффициентов фильтра, с тем, чтобы сформировать данные B(r1) первого фильтрованного изображения.
Блок 16 вычисления коэффициента распределения сравнивает данные B(1) исходного изображения с данными B(1) первого фильтрованного изображения, сформированного блоком 15 формирования первого фильтрованного изображения, с тем, чтобы измерить P(r1), которая равна PSNR данных B(r1) первого фильтрованного изображения. Блок 16 вычисления коэффициента распределения вычисляет коэффициент X распределения на основе P(r1).
Блок 17 выбора таблицы определения оптимальной полосы пропускания выбирает одну из таблиц 11 определения оптимальных полос пропускания, которые связаны с размером изображения и заданным PSNR, где выбранная таблица соответствует размеру V изображения (определенному блоком 12 ввода данных исходного изображения) и заданному PSNR, который назначается пользователем. Блок 17 выбора таблицы определения оптимальной полосы пропускания выдает ID номер, назначенный выбранной таблице.
Блок 18 определения оптимальной полосы пропускания определяет оптимальную полосу пропускания r2 путем обращения к таблице 11 определения оптимальной полосы пропускания, которая выбирается блоком 17 выбора таблицы определения оптимальной полосы пропускания и указывается ID номером посредством использования коэффициента X распределения (вычисленного блоком 16 вычисления коэффициента распределения) в качестве ключа.
Блок 19 вычисления матрицы оптимальных коэффициентов фильтра вычисляет матрицу оптимальных коэффициентов фильтра для реализации частотных характеристик, соответствующих ограничению по полосе частот, используя оптимальную полосу пропускания r2, которая определяется блоком 18 определения оптимальной полосы пропускания.
Блок 20 формирования данных оптимально фильтрованного изображения выполняет процесс фильтрации данных B(1) исходного изображения, используя матрицу оптимальных коэффициентов фильтра, вычисленную блоком 19 вычисления матрицы оптимальных коэффициентов фильтра, с тем, чтобы формировать данные B(r2) оптимально фильтрованного изображения.
Блок 21 выдачи данных оптимально фильтрованного изображения выдает данные оптимально фильтрованного изображения, сформированного блоком 20 формирования данных оптимально фильтрованного изображения.
Фиг.5 показывает алгоритм работы, выполняемый устройством 1 формирования оптимально фильтрованного изображения настоящего варианта осуществления, сформированного, как описано выше.
В соответствии с алгоритмом работы процесс, выполняемый устройством 1 формирования оптимально фильтрованного изображения настоящего варианта осуществления, будет объяснен подробно.
Как показано в алгоритме работы на Фиг.5, когда устройство 1 формирования оптимально фильтрованного изображения принимает запрос на формирование данных оптимально фильтрованного изображения, данные B(1) исходного изображения, для которых формируются данные оптимально фильтрованного изображения, вводятся в устройство, и определяется размер V изображения введенного исходного изображения B(1) (см. первый этап S10).
На следующем этапе S11 обращаются к таблице 10 определения первой полосы пропускания, с использованием определенного размера V изображения в качестве ключа с тем, чтобы определить первую полосу пропускания, которая определяется в соответствии с размером V изображения.
Если размер V изображения данных B(1) исходного изображения, которым управляют в устройстве 1 формирования оптимально фильтрованного изображения настоящего варианта осуществления, устанавливается в заранее определенный размер, не требуется таблица 10 определения первой полосы пропускания, и определяется первая полоса пропускания r1, которая заранее определяется в соответствии с фиксированным размером.
На следующем этапе S12 вычисляется матрица первых коэффициентов фильтра для реализации частотных характеристик, соответствующих ограничению по полосе частот, используя определенную первую полосу пропускания r1.
На следующем этапе S13 данные B(1) исходного изображения подвергаются процессу фильтрации, используя вычисленную матрицу первых коэффициентов фильтра, с тем, чтобы сформировать данные B(r1) первого фильтрованного изображения.
На следующем этапе S14 данные B(1) исходного изображения сравниваются со сформированными данными B(r1) первого фильтрованного изображения с тем, чтобы измерить P(r1), которая равна PSNR данных B(r1) первого фильтрованного изображения. На основе P(R1) вычисляется коэффициент X распределения.
Например, коэффициент X распределения вычисляется с помощью P(r1) следующим образом:
X=51,2/P(r1) Формула (1)
Фиг.6 показывает результаты экспериментов получения соответствующих отношений между полосой пропускания r и P(r) (значение PSNR), где пять разных изображений 1-5, каждое имеет размер изображения 1920×1080 пикселов, были использованы в качестве данных изображений для экспериментов, и была применена фильтрация к выделенным компонентам изображений 1-5, используя матрицу коэффициентов фильтра, для реализации частотных характеристик, соответствующих одинаковой полосе пропускания r(0,3<r<1) в горизонтальном и вертикальном направлениях.
Как показали результаты экспериментов, значение «51,2» в Формуле 1 указывает значение PSNR, которое получается, когда данные исходного изображения не подвергаются ограничению по полосе частот.
На следующем этапе S15 выбирается одна из таблиц 11 определения оптимальной полосы пропускания, которые предоставляются в соответствии с размером V изображения и заданным PSNR, причем выбранная таблица соответствует размеру V изображения (определенному блоком 12 ввода данных исходного изображения) и заданному PSNR, который назначается пользователем.
Если размер V изображения данных B(1) исходного изображения, которым управляют в устройстве 1 формирования оптимально фильтрованного изображения настоящего варианта осуществления, устанавливается в заранее определенный размер, то необходимо предоставить таблицы 11 определения оптимальных полос пропускания в соответствии с размером изображения и заданным PSNR и предоставить множество таблиц 11 определения оптимальных полос пропускания в соответствии со значениями заданного PSNR.
Кроме того, если размер V изображения данных B(1) исходного изображения, которым управляют в устройстве 1 формирования оптимально фильтрованного изображения, фиксируется в заранее определенный размер и заданный PSNR, которым управляют в устройстве 1 формирования оптимально фильтрованного изображения, также устанавливается в заранее определенное значение, тогда необходимо предоставить таблицы 11 определения оптимальной полосы пропускания в соответствии с размером изображения и заданным PSNR, и предоставляется таблица 11 определения оптимальной полосы пропускания.
На следующем этапе S16 оптимальная полоса пропускания r2 определяется путем обращения к выбранной таблице 11 определения оптимальной полосы пропускания, используя коэффициент X распределения в качестве ключа.
На следующем этапе S17 вычисляется матрица оптимальных коэффициентов фильтра для реализации частотных характеристик, соответствующих ограничению по полосе частот, используя определенную оптимальную полосу пропускания r2.
На следующем этапе S18 данные B(1) исходного изображения подвергаются фильтрации, используя вычисленную матрицу оптимальных коэффициентов фильтра с тем, чтобы сформировать данные B(r2) оптимально фильтрованного изображения для выполнения заданного PSNR.
На следующем этапе S19 выдаются сформированные данные B(r2) оптимально фильтрованного изображения и завершается соответствующая операция.
Как описано выше, устройство 1 формирования оптимально фильтрованного изображения настоящего варианта осуществления выполняет только два процесса фильтрации, примененных к данным B(1) исходного изображения с тем, чтобы сформировать данные B(r2) оптимально фильтрованного изображения для выполнения заданного PSNR.
Описанная выше операция ниже будет подробно объяснена на конкретных примерах, которые являются изображениями 1-5, имеющими характеристики, показанные на Фиг.6.
В соответствии с процессом описанного выше этапа S10 размер «1920×1080 пикселов» определяется как размер V данных B(1) исходного изображения. Затем в соответствии с процессом описанного выше этапа S11 обращаются к таблице 10 определения первой полосы пропускания, имеющей структуру данных, показанную на Фиг.2, так, что C2 определяется как первая полоса пропускания r1.
Если C2=0,5, тогда в соответствии с процессами описанных выше этапов S12-S14, то матрица первых коэффициентов фильтра для реализации частотных характеристик, соответствующих ограничению полосы частот, используя r1(=0,5), используется для формирования данных B(0,5) первого фильтрованного изображения для каждого изображения 1-5 (имеющих характеристики на Фиг.6), и устанавливается P(0,5) как PSNR каждых данных B(0,5) первого фильтрованного изображения.
В соответствии с установлением, как показано на Фиг.6, P(0,5)=34,5 для изображения 1; P(0,5)=42,3 для изображения 2; P(0,5)=40,6 для изображения 3; P(0,5)=42,7 для изображения 4 и P(0,5)=45,3 для изображения 5.
Затем в соответствии с процессом описанного выше этапа S14 формула «X=51,2/P(r1)» вычисляется с тем, чтобы: коэффициент распределения X=1,48 для изображения 1; коэффициент распределения X=1,21 для изображения 2; коэффициент X=1,26 для изображения 3; коэффициент распределения X=1,20 для изображения 4; и коэффициент распределения X=1,13 для изображения 5.
Затем в соответствии с процессом описанного выше этапа S16 обращаются к таблице 11 определения оптимальной полосы пропускания, имеющей структуру данных, показанную на Фиг.4, используя вычисленный коэффициент X распределения в качестве ключа с тем, чтобы значение Bi определялось в качестве оптимальной полосы пропускания r2 в соответствии со значением коэффициента X распределения.
Как описано выше, таблица 11 определения оптимальной полосы пропускания имеет следующие структуры данных:
0<A1<A2<A3< … <An-2<An-1
0<B1<B2<B3< … <Bn-2<Bn-1<Bn<1
Поэтому большая оптимальная полоса пропускания r2 назначается для данных B(1) исходного изображения, имеющих больший коэффициент X распределения, и меньшая оптимальная полоса пропускания r2 назначается для данных B(1) исходного изображения, имеющих меньший коэффициент X распределения.
А именно, как понятно из формулы «X=51,2/P(r1)», данные B(1) исходного изображения, имеющие больший коэффициент X распределения, имеет меньшую P(r1) (которая показывает меньший уровень сигнала); поэтому для реализации заданного PSNR требуется большая оптимальная полоса пропускания r2 (т.е. будет реализовываться ограничение по полосе частот). В противоположность этому данные B(1) исходного изображения, имеющие меньший коэффициент X распределения, имеют большую P(r1); поэтому для реализации заданного PSNR требуется малая полоса пропускания r2.
Принимая во внимание указанное выше, для указания, что большая оптимальная полоса пропускания r2 назначается данным B(1) исходного изображения, имеющим больший коэффициент X распределения, и малая оптимальная полоса пропускания r2 назначается для данных B(1) исходного изображения, имеющих меньший коэффициент X распределения, таблица 11 определения оптимальной полосы пропускания имеет структуру данных
0<A1<A2<A3< … <An-2<An-1
0<B1<B2<B3< … <Bn-2<Bn-1<Bn<1
Оптимальная полоса пропускания r2, которая определена выше, является полосой пропускания для формирования данных B(r2) оптимально фильтрованного изображения, которые реализуют заданный PSNR. Поэтому в соответствии с процессами описанных выше этапов S16-S17 вычисляется матрица оптимальных коэффициентов фильтра для реализации частотных характеристик, соответствующих ограничению полосы частот, используя оптимальную полосу пропускания r2, и данные B(1) исходного изображения подвергаются фильтрации, используя матрицу оптимальных коэффициентов фильтра, посредством чего формируя данные B(r2) оптимально фильтрованного изображения для реализации заданного PSNR.
Как описано выше, в устройстве 1 формирования оптимально фильтрованного изображения сначала определяется предварительная полоса пропускания в соответствии с размером изображения данных исходного изображения, и на основе размера изображения формируются данные предварительного изображения с тем, чтобы установить PSNR. Затем вычисляется безразмерный параметр, такой как коэффициент распределения, на основе установленного PSNR и обращаются к таблице 11 определения оптимальной полосы пропускания посредством использования вычисленных коэффициентов распределения в качестве ключа с тем, чтобы определить оптимальную полосу пропускания для реализации заданного PSNR, где таблица 11 определения оптимальной полосы пропускания имеет структуру преобразования данных, посредством которой обеспечивается больший коэффициент распределения данных исходного изображения, большая определенная оптимальная полоса пропускания. На основе оптимальной полосы пропускания формируются данные оптимально фильтрованного изображения для данных исходного изображения.
В соответствии с устройством 1 формирования оптимально фильтрованного изображения, имеющим указанную выше структуру, данные исходного изображения будут подвергаться только двум процессам фильтрации с тем, чтобы формировать данные оптимально фильтрованного изображения для реализации заданного PSNR.
Поэтому в соответствии с устройством 1 формирования оптимально фильтрованного изображения процесс адаптивной фильтрации может автоматически выполняться без выполнения процесса кодирования с тем, чтобы реализовать упрощенный процесс адаптивной фильтрации и все кадры видеоизображения имели высокое субъективное качество изображения и одинаковое значение оценки объективного качества изображения.
Хотя настоящее изобретение было объяснено в соответствии с вариантом осуществления, имеющим чертежи, настоящее изобретение не ограничивается вариантом осуществления.
Например, в настоящем варианте осуществления PSNR используется в качестве значения оценки объективного качества изображения. Однако может использоваться значение оценки объективного качества изображения, иное чем PSMR.
Так же в настоящем варианте осуществления размер изображения 1920×1080 пикселов показан в качестве примера. Однако, когда подготавливается таблица 10 определения первой полосы пропускания (см. Фиг.2), которая управляет первой полосой пропускания r1, соответствующей различным размерам изображения (любые размеры, например, так называемые 4k×2k, HD, SD, VGA, CIF и QCIF), то предварительно настоящее изобретение может применяться для изображений любого размера.
Кроме того, хотя не предоставлено подробное объяснение в указанном выше варианте осуществления, когда подготавливаются и заранее сохраняются таблицы 11 определения оптимальных полос пропускания, соответствующие разным заданным PSNR, то может выполняться обработка изображения для реализации необязательного управления качеством изображения, используя настоящее изобретение.
Также в настоящем варианте осуществления для первой полосы пропускания r1 и оптимальной полосы пропускания r2 одинаковая полоса пропускания определяется для горизонтального и вертикального направлений. Однако аналогичные эффекты получаются, когда разные полосы пропускания определяются для горизонтального и вертикального направлений. В видеоизображении, показывающем изображение естественного расстояния или отношение, возникает большое изменение при выделении в вертикальном направлении в сравнении с горизонтальным направлением, т.к. здесь есть относительное перемещение в вертикальном направлении. Для положительного использования этого эффекта, разные полосы пропускания назначаются для горизонтального и вертикального направлений.
Также в настоящем варианте осуществления конкретное объяснение не предоставляется для ряда сигналов цифрового фильтра. Однако аналогичные эффекты получаются, когда применяется настоящее изобретение к цифровому фильтру, имеющему любое число сигналов. Кроме того, конкретное ограничение не налагается на способ разработки цифрового фильтра для реализации назначенного ограничения по полосе частот. Например, желаемая форма частотной характеристики может подвергаться инверсному Z преобразованию с тем, чтобы получить и разрабатывать матрицу коэффициентов фильтра цифрового фильтра, имеющего соответствующие частотные характеристики.
Также в настоящем варианте осуществления значение «51,2» используется в Формуле (1). Однако значение зависит от характеристик используемого цифрового фильтра и будет соответственно модифицироваться, когда используется другой цифровой фильтр.
Также в настоящем варианте осуществления обработка полосы частот применяется только для выделенного компонента. Однако обработка полосы частот может также применяться для компонента с разными цветами. В этом случае эффективность кодирования может дополнительно улучшаться.
Промышленная применимость
Настоящее изобретение обеспечивается для реализации фильтрации для преобразования исходного изображения в изображение, имеющее конкретное значение оценки объективного качества изображения, посредством упрощенного процесса. Соответственно упрощенный процесс может реализовывать адаптивную фильтрацию для преобразования всех кадров видеоизображения, имеющего высокое субъективное качество изображения и одинаковое значение объективного качества изображения.
1. Способ обработки изображения, содержащий этапы, на которых:
определяют первую полосу пропускания на основе размера изображения входных данных исходного изображения;
вычисляют матрицу первых коэффициентов фильтра для реализации частотных характеристик, соответствующих ограничению полосы пропускания, используя первую полосу пропускания;
формируют данные первого фильтрованного изображения путем выполнения процесса фильтрации данных исходного изображения, используя матрицу первых коэффициентов фильтра;
получают значение оценки объективного качества изображения данных первого фильтрованного изображения посредством сравнения данных исходного изображения с данными первого фильтрованного изображения и вычисляют коэффициент распределения, используемый для определения оптимальной полосы пропускания, на основе значения оценки объективного качества изображения;
определяют оптимальную полосу пропускания, соответствующую вычисленному коэффициенту распределения посредством обращения к таблице определения оптимальной полосы пропускания, в которой определено соотношение между коэффициентом распределения и оптимальной полосой пропускания;
вычисляют матрицу оптимальных коэффициентов фильтра для реализации частотных характеристик, соответствующих ограничению полосы частот, используя определенную оптимальную полосу пропускания; и
формируют данные оптимально фильтрованного изображения посредством выполнения процесса фильтрации данных исходного изображения, используя матрицу оптимальных коэффициентов фильтра;
причем на этапе определения первой полосы пропускания определяют первую полосу пропускания, соответствующую размеру изображения данных исходного изображения, посредством обращения к таблице определения первой полосы пропускания, в которой определено соотношение между размером изображения и первой полосой пропускания;
на этапе определения оптимальной полосы пропускания, когда предоставляется множество таблиц определения оптимальных полос пропускания в соответствии с размером изображения и целевым значением оценки объективного качества изображения, выбирают таблицу определения оптимальной полосы пропускания, которая соответствует размеру изображения данных исходного изображения и определенному целевому значению оценки объективного качества, и определяют оптимальную полосу пропускания, соответствующую вычисленному коэффициенту распределения, посредством обращения к выбранной таблице определения оптимальной полосы пропускания; и
на этапе вычисления коэффициента распределения вычисляют коэффициент распределения посредством деления значения оценки объективного качества изображения, которое получается, когда данные исходного изображения не подвергаются ограничению полосы частот, на полученное значение оценки объективного качества изображения.
2. Устройство обработки изображения, содержащее
устройство определения первой полосы пропускания на основе размера изображения входных данных исходного изображения;
устройство вычисления матрицы первых коэффициентов фильтра для реализации частотных характеристик, соответствующих ограничению полосы частот, с использованием первой полосы пропускания;
устройство формирования данных первого фильтрованного изображения посредством выполнения процесса фильтрации данных исходного изображения с использованием матрицы первых коэффициентов фильтра;
устройство получения значения оценки объективного качества изображения данных первого фильтрованного изображения посредством сравнения данных исходного изображения с данными первого фильтрованного изображения, и вычисления коэффициента распределения, используемого для определения оптимальной полосы пропускания, на основе значения оценки объективного качества изображения;
устройство определения оптимальной полосы пропускания, соответствующей вычисленному коэффициенту распределения, посредством обращения к таблице определения оптимальной полосы пропускания, в которой определено соотношение между коэффициентом распределения и оптимальной полосой пропускания;
устройство вычисления матрицы оптимальных коэффициентов фильтра для реализации частотных характеристик, соответствующих ограничению полосы частот, с использованием определенной оптимальной полосы пропускания; и
устройство формирования данных оптимально фильтрованного изображения посредством выполнения процесса фильтрации данных исходного изображения с использованием матрицы оптимальных коэффициентов фильтра;
причем устройство определения первой полосы пропускания определяет первую полосу пропускания, соответствующую размеру изображения данных исходного изображения, посредством обращения к таблице определения первой полосы пропускания, в которой определено соотношение между размером изображения и первой полосой пропускания;
причем, когда предоставляется множество таблиц определения оптимальных полос пропускания в соответствии с размером изображения и целевым значением оценки объективного качества изображения, устройство определения оптимальной полосы пропускания выбирает таблицу определения оптимальной полосы пропускания, которая соответствует размеру изображения данных исходного изображения и определенному целевому значению оценки объективного качества изображения; и
определяет оптимальную полосу пропускания, соответствующую вычисленному коэффициенту распределения, посредством обращения к выбранной таблице определения оптимальной полосы пропускания; и
устройство вычисления коэффициента распределения вычисляет коэффициент распределения посредством деления значения оценки объективного качества изображения, которое получается, когда данные исходного изображения не подвергаются ограничению полосы частот, на полученное значение оценки объективного качества изображения.
3. Машиночитаемый запоминающий носитель, который хранит программу обработки изображения, которая предписывает компьютеру выполнять процесс реализации способа обработки изображения по п.1.
