Способ сверхразрешения изображения, имитирующего повышение детализации на основе оптической системы, выполняемый на мобильном устройстве, обладающем ограниченными ресурсами, и мобильное устройство, его реализующее
Настоящее изобретение относится к области обработки изображений. Технический результат настоящего изобретения заключается в обеспечении возможности сверхразрешения изображения, повышении детализации изображения подобно тому, как если бы это было сделано с помощью оптической системы с соответствующим коэффициентом увеличения. Раскрыт способ сверхразрешения изображения, имитирующего повышение детализации на основе оптической системы, выполняемый на мобильном устройстве, обладающем ограниченными ресурсами, содержащий этапы, на которых: вводят изображение первого качества детализации; устанавливают коэффициент сверхразрешения из предопределенного набора коэффициентов сверхразрешения, при этом коэффициент сверхразрешения указывает подготовленную интеллектуальную систему, имитирующую работу соответствующей оптической системы, и преобразуют изображение первого качества детализации в изображение второго качества детализации с использованием указанной подготовленной интеллектуальной системы. 2 н. и 9 з.п. ф-лы, 6 ил.
Область техники
[0001] Настоящее изобретение относится к обработке изображений с помощью интеллектуальных систем, в частности, к способу сверхразрешения изображения, имитирующего повышение детализации на основе оптической системы, выполняемому на мобильном устройстве, обладающем ограниченными ресурсами, и мобильному устройству, реализующему упомянутый способ.
Уровень техники
[0002] Доступные в настоящий момент процессоры мобильных устройств обеспечивают возможность широкого применения искусственного интеллекта (AI) для решения большого класса разнообразных задач. Одной из таких задач является сверхразрешение - создание изображений более высокого качества детализации на основе исходных изображений меньшего качества детализации. В уровне техники известны технические решения, которые обеспечивают указанное сверхразрешение, но обладают своими недостатками.
Описание связанных документов уровня техники
Патентные документы
[0003] Патент US 9,836,820 B2, опубликованный 5 декабря 2017 года и озаглавленный «Image upsampling using global and local constraints», раскрывает способ увеличения размера изображения с использованием нелинейной полносвязной нейронной сети для создания глобальных деталей увеличенного изображения и интерполяцию этого изображения для создания гладкого увеличенного изображения. Недостатками данного решения являются низкая производительность по времени работы и необходимость в значительном объеме памяти для хранения параметров сверточной нейронной сети (CNN). Указанные недостатки не позволяют применять раскрытое в данном патенте решение на мобильных устройствах, обладающих ограниченными вычислительными ресурсами.
[0004] Патентная заявка US2017287109 A1, опубликованная 5 октября 2017 года и озаглавленная «Image scaling using a convolutional neural network», раскрывает способ изменения размера изображений для онлайновых систем контента с использованием CNN. Недостатками данного решения также являются низкая производительность по времени работы и необходимость в значительном объеме памяти для хранения параметров сверточной нейронной сети (CNN). Указанные недостатки не позволяют применять раскрытое в данной заявке решение на мобильных устройствах, обладающих ограниченными вычислительными ресурсами.
[0005] Патентная заявка US2018075581 A1, опубликованная 15 марта 2018 года и озаглавленная «Super resolution using a generative adversarial network», раскрывает способ обеспечения сверхразрешения с использованием генеративно-состязательной сети (GAN). Недостатками данного решения являются также низкая производительность по времени работы и отсутствие использования при обучении какой-либо информации по парам изображений высокого/низкого качества детализации. Кроме того, раскрытое в данной заявке решение также не приспособлено под реализацию на мобильном устройстве, обладающем ограниченными ресурсами.
[0006] Патентная заявка US2018122048 A1, опубликованная 5 марта 2018 года и озаглавленная «Generative methods of super resolution», раскрывает генеративные способы обеспечения сверхразрешения. Недостатками данного решения также являются низкая производительность по времени работы и отсутствие использования при обучении какой-либо информации по парам изображений высокого/низкого качества детализации. Кроме того, раскрытое в данной заявке решение не приспособлено под реализацию на мобильном устройстве, обладающем ограниченными ресурсами.
Непатентные научные публикации
[0007] В уровне техники также известен ряд непатентных научных публикаций на тему сверхразрешения. Публикация 2014 года от C. Dong, C.C. Loy, K. He, X. Tang, озаглавленная «Image Super-Resolution Using Deep Convolutional Networks», раскрывает способ глубокого обучения для основанного на единственном изображении сверхразрешения. Данный способ непосредственно обучают прямому отображению между изображениями высокого/низкого качества детализации. Это отображение представляется глубокой CNN, которая в качестве входных данных принимает изображение первого качества детализации и выводит изображение второго качества детализации. Недостатками данного решения являются низкое качество обработки реальных изображений и медленное вычисление конечного результата. Указанные недостатки не позволяют применять раскрытое в данной публикации решение в требуемом реальном масштабе времени на мобильных устройствах, обладающих ограниченными вычислительными ресурсами.
[0008] Другая публикация 2016 года от C. Dong, C.C. Loy, X. Tang, озаглавленная «Accelerating the Super-Resolution Convolutional Neural Network», рассматриваемая авторами настоящего изобретения в качестве ближайшего аналога, раскрывает архитектуру компактной CNN типа «песочные часы» для быстрого и высококачественного сверхразрешения. Авторы данного решения предлагают изменить архитектуру CNN в трех аспектах: 1) добавить слой обращенной свертки в конец сети, обеспечив тем самым обучение прямому отображению между исходным входным изображением низкого качества детализации и выходным изображением высокого качества детализации, 2) переформировать слой отображения таким образом, чтобы размерность входных признаков сжималась до выполнения отображения и разжималась после него и 3) использовать меньшие размеры фильтров, но большее число слоев отображения. Недостатком данного решения является низкое качество обработки реальных изображений, которые могут захватываться с помощью мобильных устройств.
[0009] В другой публикации 2016 года от W. Shi, J. Caballero, F. Huszar et al, озаглавленной «Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network», предлагается новая архитектура CNN, которая извлекает карты признаков из пространства низкого качества детализации обрабатываемого входного изображения. Предлагаемая архитектура CNN включает в себя эффективный слой субпиксельной свертки, который обучают на массиве повышающих качество детализации фильтров для повышения качества детализации конечных карт признаков низкого качества детализации до выходных данных высокого качества детализации. В результате такая архитектура CNN становится пригодной для обработки по обеспечению сверхразрешения 1080p видеоклипов на единственном K2 GPU. Недостатками данного решения является низкое качество обработки реальных изображений, которые могут захватываться с помощью мобильных устройств, а также отсутствие быстродействия при реализации предложенной в данной публикации архитектуры CNN на мобильных устройствах, обладающих ограниченными вычислительными ресурсами.
[0010] В другой публикации 2018 года от A. Shocher, N. Cohen, M. Irani, озаглавленной «'Zero-Shot' Super-Resolution using Deep Internal Learning», 'Zero-Shot' (обучение без учителя) сверхразрешение использует подходы глубокого обучения, но не полагается на какое-либо предварительное обучение. Данный подход выявляет внутренние повторы информации внутри некоторого изображения и для каждого обрабатываемого изображения обучает небольшую специализированную CNN, используя для ее обучения исключительно выявленные из обрабатываемого изображения внутренние повторы информации. В результате получаемая CNN адаптируется под настройки конкретного изображения. Такой подход позволяет обеспечить сверхразрешение в тех изображениях, процедура получения которых осталась неизвестной или была неидеальной (действительно старые фотографии, зашумленные изображения и т.д.). Недостатком данного решения также является отсутствие быстродействия при реализации предложенного в данной публикации решения на мобильных устройствах, обладающих ограниченными вычислительными ресурсами.
[0011] Различные другие реализации известны в данной области техники, но, насколько можно разумно установить из их доступной документации, эти реализации не могут адекватно решить все проблемы, решаемые описанным в данной заявке изобретением.
Сущность изобретения
[0012] Настоящее изобретение решает все вышеуказанные проблемы сверхразрешения изображения за счет уникальной процедуры подготовки обучающих CNN наборов данных, учитывающей особенности повышения детализации на основе оптической системы. Для этого, во-первых, обучающий набор данных получают в том числе камерой с оптической системой увеличения/уменьшения (например, объективом или системой из одной или нескольких линз с функцией оптического увеличения/уменьшения). Во-вторых, контекстно-зависимые признаки особенностей (например, специфические перепады яркости на однородном фоне, выраженные углы текстур), представленные на изображении, обнаруживают с применением модели визуальной системы человека (HVS). В-третьих, для коррекции искажений выполняют основанную на фрагментах изображений коррекцию гистограммы. Кроме того, настоящее изобретение решает все вышеуказанные проблемы также за счет применения основанного на AI сверхразрешения. Другими словами, применяется основанный на AI подход с множеством ядер/обученных CNN для разных коэффициентов увеличения, а также проводится оптимизация размера CNN для выбора компромиссного варианта между объемом RAM для мобильного устройства и приемлемым качеством обработки. В результате, повышается качество выходных изображений, повышается скорость обработки, уменьшается размер модели обученной CNN для более эффективного потребления ресурсов памяти и энергоресурсов (расходование заряда аккумуляторной батареи мобильного устройства), а также обеспечивается возможность быстрого переноса обученной CNN на разные устройства и ее применение на таких устройствах, обладающих ограниченными ресурсами, для высококачественной и быстрой обработки различных типов изображений.
[0013] В первом аспекте настоящего изобретения предложен способ сверхразрешения изображения, имитирующего повышение детализации на основе оптической системы, выполняемый на мобильном устройстве, обладающем ограниченными ресурсами, содержащий этапы, на которых: вводят изображение первого качества детализации; устанавливают коэффициент сверхразрешения из предопределенного набора коэффициентов сверхразрешения, указывающий увеличение первого качества детализации для получения изображения второго качества детализации, при этом коэффициент сверхразрешения указывает подготовленную интеллектуальную систему, имитирующую работу соответствующей оптической системы, из множества интеллектуальных систем, подготовленных для каждого коэффициента сверхразрешения из предопределенного набора коэффициентов сверхразрешения; и преобразуют изображение первого качества детализации в изображение второго качества детализации с использованием указанной подготовленной интеллектуальной системы.
[0014] Во втором аспекте настоящего изобретения предложено мобильное устройство, содержащее: процессор; камеру, выполненную с возможностью захвата изображения первого качества детализации; память, хранящую числовые параметры множества подготовленных интеллектуальных систем и инструкции, которые при исполнении процессором побуждают процессор к выполнению способа сверхразрешения изображения, имитирующего повышение детализации на основе оптической системы.
Краткое описание чертежей
[0015] Другие благоприятные эффекты настоящего изобретения станут очевидны обычному специалисту в данной области техники после ознакомления с нижеследующим подробным описанием различных вариантов его осуществления, а также с чертежами, на которых:
[Фиг. 1] Фигура 1 иллюстрирует предпочтительный вариант осуществления способа сверхразрешения изображения, имитирующего повышение детализации на основе оптической системы, выполняемого на мобильном устройстве, обладающем ограниченными ресурсами.
[Фиг. 2] Фигура 2 иллюстрирует предпочтительный вариант осуществления способа обучения применяемой сверточной нейронной сети (CNN).
[Фиг. 3] Фигура 3 иллюстрирует предпочтительный вариант осуществления мобильного устройства.
[Фиг. 4] Фигура 4 иллюстрирует пример коррекции гистограмм фрагментов двух изображений, которая применяется на этапе (S65).
[Фиг. 5] Фигуры 5 (а, б) иллюстрируют пример работы раскрытого способа сверхразрешения, в котором на фигуре 5(а) показано изображение первого качества детализации, а на фигуре 5(б) показано получаемое в результате изображение второго качества детализации.
[Фиг. 6] Фигура 6 иллюстрирует схему разделяемой по глубине (двумерной) свертки, применяемой в предпочтительном варианте осуществления настоящего изобретения.
Подробное описание вариантов осуществления изобретения
[0016] Предпочтительные варианты осуществления настоящего изобретения теперь будут описаны более подробно со ссылкой на чертежи, на которых идентичные элементы на разных фигурах, по возможности, идентифицируются одинаковыми ссылочными позициями. Эти варианты осуществления представлены посредством пояснения настоящего изобретения, которое, однако, не следует ими ограничивать. Специалисты в данной области техники поймут после ознакомления с настоящим подробным описанием и чертежами, что могут быть сделаны различные модификации и варианты.
[0017] Под сверхразрешением изображения обычно понимается увеличение размеров изображения (в пикселях) с повышением разрешения изображения, его детализации и качества визуального восприятия. В этом заключается принципиальное отличие от простого масштабирования изображения, при котором увеличение изображения неизбежно ведет к ухудшению разрешения изображения и его детализации. Под детализацией изображения понимается количество пикселей на единицу площади изображения (ppi, пикселей на дюйм) или количество точек на единицу площади изображения (dpi, точек на дюйм).
[0018] На фигуре 1 проиллюстрирована блок-схема предпочтительного варианта осуществления способа сверхразрешения изображения, имитирующего повышение детализации на основе оптической системы, выполняемого на мобильном устройстве, обладающем ограниченными ресурсами. На этапе (S100) изображение первого качества детализации может быть введено различными способами, например, путем захвата изображения первого качества детализации камерой мобильного устройства, загрузки изображения первого качества детализации из памяти мобильного устройства или внешнего источника данных, выделения области произвольного изображения в качестве изображения первого качества детализации или любым другим способом. Изображение первого качества детализации может быть, например, неподвижным изображением, кадром видеоданных или последовательностью кадров видеоданных, но без ограничения упомянутым. Кроме того, первое качество детализации может быть ниже второго качества детализации.
[0019] Затем, согласно способу на этапе (S105) коэффициент сверхразрешения может быть установлен из предопределенного набора коэффициентов сверхразрешения. Коэффициент сверхразрешения указывает увеличение первого качества детализации для получения изображения второго качества детализации. Кроме того, коэффициент сверхразрешения указывает подготовленную интеллектуальную систему, имитирующую работу соответствующей оптической системы, из множества интеллектуальных систем, подготовленных для каждого коэффициента сверхразрешения из предопределенного набора коэффициентов сверхразрешения, которую следует использовать при преобразовании изображения первого качества детализации в изображение второго качества детализации. В качестве подготовленной интеллектуальной системы в предпочтительном варианте осуществления настоящего изобретения используется обученная сверточная нейронная сеть (CNN). Однако, вместо CNN в настоящем изобретении может использоваться любая другая интеллектуальная система такая как, например, автокодировщик, состоящий из кодера и декодера, работающих в паре, выполненный с возможностью обобщения и корреляции входных данных с тем, чтобы декодер преобразовывал изображение первого качества детализации в изображение второго качества детализации, или нелинейная регрессия, выполненная с возможностью построения аппроксимации функции преобразования изображения первого качества детализации в изображение второго качества детализации как нелинейной комбинации параметров модели.
[0020] Далее, на этапе (S110) выполняют преобразование изображения первого качества детализации (фигура 5(а)) в изображение второго качества детализации (фигура 5(б)) с использованием указанной подготовленной интеллектуальной системы. Этап (S110) может дополнительно содержать применение (S110.1) на каждом сверточном слое CNN к каждой отдельной карте признаков, извлекаемой из изображения первого качества детализации, двумерной фильтрации. Двумерная фильтрация представляет собой выполнение математической операции свертки между двумерным массивом чисел и прямоугольной матрицей чисел, называемой фильтром, количество строк и столбцов которой небольшое по сравнению с высотой и шириной массива. Затем к набору карт признаков, который был получен в результате применения двумерной фильтрации, может быть применена (S110.2) одна или более операций взвешенного суммирования с полученными в результате обучения CNN наборами весов (блок-схема обучения CNN будет приведена ниже со ссылкой на фигуру 2). Количество карт признаков, обрабатываемых на каждом сверточном слое CNN, кроме первого, равно количеству фильтров (также именуемых ʺядрамиʺ CNN), примененных на предыдущем сверточном слое CNN. Иллюстрация такой разделяемой по глубине (двумерной) свертки приведена на фигуре 6. В заявленном изобретении вместо традиционной трехмерной свертки N х K х M используется двумерная свертка N x K, в которой для M карт признаков сначала выполняется M двухмерных сверток, по одной на карту. А затем результирующий набор из M карт признаков M раз взвешенно суммируется. Взвешенное суммирование является менее затратной операцией нежели свертка. Благодаря такому подходу точность работы CNN по обеспечению сверхразрешения не ухудшается, а количество операций умножения снижается в M раз, что обеспечивает в результате снижение требуемых вычислительных ресурсов и объема памяти мобильного устройства.
[0021] Этап (S110) может дополнительно содержать осуществление (S110.3) взвешенного суммирования или иного комбинирования изображения, получаемого посредством интерполяции изображения первого качества детализации, и остаточного изображения. В качестве интерполяции может быть использована, например, билинейная интерполяция, бикубическая интерполяция, интерполяция фильтром Ланцоша или любой другой стандартный алгоритм интерполяции. Взвешенное суммирование или комбинирование позволяет исключить размытость и ступенчатость краев объектов на интерполированном изображении и иные дефекты на этом изображении. Остаточное изображение может быть сгенерировано посредством CNN из изображения первого качества детализации, затем сгенерированное остаточное изображение может быть увеличено с помощью дополнительного слоя обратной свертки до размеров интерполированного изображения, чтобы обеспечить возможность корректного взвешенного суммирования или иного комбинирования этих изображений. Такой подход позволяет снизить вычислительную нагрузку, поскольку остаточное изображение генерируется из изображения первого качества детализации перед его увеличением.
[0022] На фигуре 2 проиллюстрирована блок-схема предпочтительного варианта осуществления обучения интеллектуальной системы, например, CNN. На этапе (S50) выполняют захват множества пар произвольных изображений, состоящих из изображения первого качества детализации и изображения второго качества детализации. Первое качество детализации ниже второго качества детализации. Изображения каждой пары произвольных изображений отображают одну и ту же сцену. Изображение первого качества детализации захватывают камерой с коэффициентом увеличения равным единице, т.е. без увеличения. Изображение второго качества детализации захватывают камерой, использующей оптическую систему с коэффициентом увеличения, превышающим единицу, т.е. камерой с функцией оптического увеличения. Коэффициент увеличения для захватываемого изображения второго качества детализации выбирается из предопределенного набора коэффициентов увеличения, взаимно-однозначно соответствующего набору коэффициентов сверхразрешения.
[0023] Для каждой пары изображений выполняют согласование (S55) фрагментов этих изображений с использованием по меньшей мере одной особенности, найденной с помощью по меньшей мере одного детектора как точка изображения, в которой имеется локальный максимум меры информативности, построенной на основе модели зрительной системы человека (HVS) и вычисленной путем комбинирования значений градиентов яркости, цветов и/или иных количественных характеристик изображений. Упомянутый по меньшей мере один детектор, используемый на данном этапе может быть выбран из группы, содержащей по меньшей мере ORB, BRISK, SURF, FAST, Harris, MSER, MinEigen, HOG, LBPF или использован подобный. Данное изобретение не ограничено приведенным перечнем детекторов, поскольку может быть использован любой известный в уровне техники детектор. Модель зрительной системы человека (HVS), которая может быть использована в настоящем изобретении, может быть основана на любых известных из уровня техники подходах, в том числе описанных в документах V. Yanulevskaya, et at., Cognit Comput. 3, 94-104 (2011) и H. Z. Momtaz and M. R. Dalir, Cogn Neurodyn. 10, 31-47 (2016). Под количественными характеристиками изображений могут пониматься градиенты яркости, цветов, насыщенности, числовые значения, полученные при применении к указанным данным конкретного изображения операций умножения, сложения, возведения в степень, свертки с заданным набором цифровых фильтров, а также статистики, вычисляемые для каждого пикселя изображения, такие как математическое ожидание, дисперсия, коэффициент эксцесса, алгебраические и геометрические моменты и прочее.
[0024] Далее на этапе (S60) для каждой по меньшей мере одной особенности вырезают фрагмент изображения первого качества детализации и фрагмент изображения второго качества детализации, формируя пару фрагментов, содержащих упомянутую особенность и окрестность упомянутой особенности. Фрагмент представляет собой окрестность, которая может иметь любую форму, например, круглую, квадратную и т.д., той точки, в которой нашли локальный максимум меры информативности. Фрагмент включает в себя точку, т.е. саму «особенность» и окрестность вокруг нее.
[0025] Затем на этапе (S65) для каждой упомянутой пары фрагментов выполняют коррекцию гистограммы яркости фрагмента изображения первого качества детализации и гистограммы яркости фрагмента изображения второго качества детализации для согласования упомянутых гистограмм яркости друг с другом. На фигуре 4 проиллюстрирован пример коррекции гистограмм. Коррекция гистограмм предполагает вычисление кумулятивных функций распределения (cdf) для фрагментов двух изображений и нахождение для каждого уровня серого x1 такого уровня серого x2, для которого cdf(x 1)=cdf(x2). Такое отображение является результатом коррекции гистограмм. При это эту коррекцию осуществляют в отношении части непрерывных (сплошных) данных. Такой ориентированный на непрерывные данные и основанный на фрагментах подход предполагает, что для выполнения согласования гистограмм берется часть непрерывных данных, а оставшаяся часть данных не учитывается. Такой подход является быстрым с точки зрения скорости вычисления и простым для решения сложной задачи. В результате обеспечивается более качественное изображение, за счет выделения мелких деталей и исключения артефактов и размытости изображения.
[0026] На этапе (S70) выполняют обучение CNN, используя полученное множество пар фрагментов, для получения числовых параметров обученной CNN, включающих в себя наборы весов, причем каждая пара фрагментов состоит из фрагмента первого качества детализации и соответствующего ему фрагмента второго качества детализации с согласованными гистограммами. Вышеупомянутые этапы (S50, S55, S60, S65, S70) обучения выполняют для каждого коэффициента увеличения из упомянутого набора коэффициентов увеличения для получения упомянутого множества подготовленных интеллектуальных систем, каждой из которых соответствует свой соответствующий коэффициент увеличения. Набор коэффициентов увеличения взаимно-однозначно соответствует набору коэффициентов сверхразрешения, т.е. одному конкретному коэффициенту увеличения соответствует отдельный соответствующий коэффициент сверхразрешения. Обучение автокодировщика и нелинейной регрессии может проводится аналогичным образом на парах фрагментов изображений разного качества детализации.
[0027] Используемые в настоящем изобретении для получения обучающих изображений камера с коэффициентом увеличения, равным единице, и камера, использующая оптическую систему с коэффициентом увеличения, превышающим единицу, синхронизированы по времени и центрированы по оптической оси через оптический делитель. Конфигурация такой системы захвата обучающих изображений может быть любой подходящей конфигурацией при которой достигается синхронизация по времени и центрирование по оптической оси захватываемых изображений.
[0028] Обучение CNN может дополнительно содержать оптимизацию количества слоев и количества параметров CNN, при которой количество слоев и количество параметров определяют с применением известного из уровня техники жадного алгоритма как решение задачи минимизации используемых слоев и параметров CNN при максимизации качества сверхразрешения по численным характеристикам, содержащим, например, среднеквадратичное отклонение и структурное подобие, но без ограничения упомянутым. Данную оптимизацию проводят итеративно, сначала подбирая максимально допустимые ограничения будущей CNN, затем CNN обучают до достижения предельного желаемого уровня качества сверхразрешения, оценивая данное качество либо по субъективным оценкам, либо по объективным количественным критериям качества таким как, например, пиковое отношение сигнала к шуму, подобие структуры/признаков, дистанция Вассерштейна, но без ограничения упомянутым. Затем, на следующей итерации количество слоев и количество параметров снижают одновременно с переобучением CNN, и заново оценивают качество сверхразрешения переобученной CNN. Количество таких итераций не ограничено и их выполняют до тех пор, пока задача минимизации используемых слоев и параметров CNN при максимизации качества сверхразрешения по численным характеристикам не будет решена.
[0029] На фигуре 3 проиллюстрирована блок-схема мобильного устройства (20), которое в одном варианте осуществления может представлять собой мобильное вычислительное устройство, обладающее ограниченными ресурсами. Мобильное устройство (20), на котором может быть реализован раскрытый выше способ, может содержать, но без ограничения упомянутым, процессор (20.1), камеру (20.2) и память (20.3), хранящую числовые параметры множества обученных интеллектуальных систем и считываемые и исполняемые процессором инструкции, которые при исполнении процессором (20.1) побуждают процессор к выполнению любого этапа (этапов) сверхразрешения изображения раскрытого в данной заявке способа. Компоненты в устройстве (20) могут быть соединены друг с другом и с другими опциональными компонентами устройства любым подходящим способом, который будет очевиден обычному специалисту для реализации на таком устройстве заявленного способа. Мобильное устройство (20) может содержать другие не показанные на фигуре 3 компоненты и представлять собой, например, смартфон, планшет, очки виртуальной реальности, очки дополненной реальности, ноутбук, умные часы и т.д. а также некоторое специализированное оборудование, например, мобильную систему (домашнего, офисного) видеонаблюдения, автомобильный видеорегистратор, беспилотный летательный аппарат (дрон) и т.п. В альтернативном варианте осуществления мобильного устройства упомянутое устройство может содержать отдельные аппаратные блоки. В этом варианте осуществления, каждый аппаратный блок может отвечать за выполнение соответствующего этапа или подэтапа способа сверхразрешения и именоваться соответствующим образом, например, аппаратный блок устройства, ответственный за преобразование (S110) входного изображение первого качества детализации в изображение второго качества детализации, может именоваться преобразователем, и т.д. Однако, заявленное изобретение не следует ограничивать только такой структурой блоков, поскольку специалисту будут понятны другие возможные структуры блоков в устройстве, при которых, в качестве примера, один аппаратный блок может отвечать за выполнение нескольких этапов или подэтапов раскрытого способа, или выполнение нескольких этапов или подэтапов раскрытого способа может быть разделено между двумя или более блоками. Кроме того, способ, раскрытый в данной заявке, может быть реализован посредством процессора, интегральной схемы специального назначения (ASIC), программируемой пользователем вентильной матрицы (FPGA), или как система на кристалле (SoC). Кроме того, способ, раскрытый в данной заявке, может быть реализован посредством считываемого компьютером носителя, на котором хранятся числовые параметры множества обученных интеллектуальных систем и исполняемые компьютером инструкции, которые, при исполнении процессором компьютера, побуждают компьютер к выполнению раскрытого способа сверхразрешения изображения. Подготовленная интеллектуальная система инструкции по выполнению заявленного способа могут быть загружены в мобильное устройство по сети или с носителя.
[0030] Используемые в данной заявке ссылочные позиции не следует интерпретировать как однозначно определяющие последовательность этапов, поскольку после ознакомления с вышеуказанным раскрытием, специалисту станут понятны другие модифицированные последовательности вышеописанных этапов. Ссылочные позиции использовались в этом описании и используются в нижеследующей формуле лишь в качестве сквозного указателя на соответствующий элемент заявки, который облегчает ее восприятие и гарантирует соблюдение единства терминологии.
[0031] Хотя данное изобретение было описано с определенной степенью детализации, следует понимать, что настоящее раскрытие было сделано только в качестве иллюстрации и что к многочисленным изменениям в деталях конструкций, компоновке частей устройства или этапов и содержания способов можно прибегать, не выходя за рамки объема изобретения, который определяется нижеследующей формулой изобретения.
1. Способ сверхразрешения изображения, имитирующего повышение детализации на основе оптической системы, выполняемый на мобильном устройстве, обладающем ограниченными ресурсами, содержащий этапы, на которых:
вводят (S100) изображение первого качества детализации;
устанавливают (S105) коэффициент сверхразрешения из предопределенного набора коэффициентов сверхразрешения, указывающий увеличение первого качества детализации для получения изображения второго качества детализации, при этом коэффициент сверхразрешения указывает подготовленную интеллектуальную систему, имитирующую работу соответствующей оптической системы, из множества интеллектуальных систем, подготовленных для каждого коэффициента сверхразрешения из предопределенного набора коэффициентов сверхразрешения; и
преобразуют (S110) изображение первого качества детализации в изображение второго качества детализации с использованием указанной подготовленной интеллектуальной системы.
2. Способ по п. 1, в котором в качестве интеллектуальной системы используют сверточную нейронную сеть (CNN), а в качестве подготовки интеллектуальной системы обучают упомянутую CNN на парах фрагментов изображений первого качества детализации и второго качества детализации,
причем первое качество детализации ниже второго качества детализации.
3. Способ по п. 1, в котором этап (S100), на котором вводят изображение первого качества детализации, дополнительно содержит один из следующих этапов, на которых:
вводят изображение первого качества детализации, захваченное камерой мобильного устройства,
загружают изображение первого качества детализации из памяти мобильного устройства или внешнего источника данных,
выделяют область произвольного изображения в качестве изображения первого качества детализации,
при этом изображение первого качества детализации является неподвижным изображением или кадром видеоданных.
4. Способ по п. 2, в котором обучение CNN содержит этапы, на которых:
захватывают (S50) множество пар произвольных изображений, состоящих из изображения первого качества детализации и изображения второго качества детализации, причем изображения каждой пары отображают одну и ту же сцену, при этом изображение первого качества детализации захватывают камерой с коэффициентом увеличения, равным единице, а изображение второго качества детализации захватывают камерой, использующей оптическую систему с коэффициентом увеличения, превышающим единицу, причем коэффициент увеличения для захватываемого изображения второго качества детализации выбирается из предопределенного набора коэффициентов увеличения, соответствующего упомянутому набору коэффициентов сверхразрешения взаимно однозначным образом;
для каждой пары изображений фрагменты этих изображений согласовываются (S55) с использованием по меньшей мере одной особенности, найденной с помощью по меньшей мере одного детектора как точка изображения, в которой имеется локальный максимум меры информативности, построенной на основе модели зрительной системы человека (HVS) и вычисленной путем комбинирования значений градиентов яркости, цветов и/или иных количественных характеристик изображений,
для каждой по меньшей мере одной особенности вырезают (S60) фрагмент изображения первого качества детализации и фрагмент изображения второго качества детализации, формируя пару фрагментов, содержащих упомянутую особенность и окрестность упомянутой особенности;
для каждой упомянутой пары фрагментов выполняют коррекцию (S65) гистограммы яркости фрагмента изображения первого качества детализации и гистограммы яркости фрагмента изображения второго качества детализации для согласования упомянутых гистограмм яркости друг с другом;
обучают (S70) CNN, используя полученное множество пар фрагментов, для получения числовых параметров обученной CNN, включающих в себя наборы весов, причем каждая пара фрагментов состоит из фрагмента первого качества детализации и соответствующего ему фрагмента второго качества детализации с согласованными гистограммами,
причем вышеупомянутые этапы обучения выполняют для каждого коэффициента увеличения из упомянутого набора коэффициентов увеличения для получения упомянутого множества подготовленных интеллектуальных систем, каждой из которых соответствует свой соответствующий коэффициент увеличения.
5. Способ по п. 4, в котором упомянутая камера с коэффициентом увеличения, равным единице, и упомянутая камера, использующая оптическую систему с коэффициентом увеличения, превышающим единицу, синхронизированы по времени и центрированы по оптической оси через оптический делитель.
6. Способ по п. 2, в котором этап (S110) дополнительно содержит следующие подэтапы, на которых:
на каждом сверточном слое CNN к каждой отдельной карте признаков, извлекаемой из изображения первого качества детализации, применяют (S110.1) двумерную фильтрацию, и
к результирующему набору карт признаков применяют (S110.2) одну или более операций взвешенного суммирования с полученными в результате обучения CNN наборами весов,
при этом количество карт признаков, обрабатываемых на каждом сверточном слое CNN, кроме первого, равно количеству фильтров, примененных на предыдущем сверточном слое CNN.
7. Способ по п. 4, в котором упомянутый по меньшей мере один детектор, используемый на этапе (S55), выбирают из группы, содержащей по меньшей мере ORB, BRISK, SURF, FAST, Harris, MSER, MinEigen, HOG, LBPF, или используют подобный.
8. Способ по п. 1, в котором этап (S110) дополнительно содержит следующий подэтап, на котором:
осуществляют (S110.3) взвешенное суммирование изображения, получаемого посредством интерполяции изображения первого качества детализации, и остаточного изображения, генерируемого указанной подготовленной интеллектуальной системой,
причем интерполяцией является одна из билинейной интерполяции, бикубической интерполяции или интерполяции фильтром Ланцоша.
9. Способ по п. 4, в котором количество слоев и количество параметров CNN определяют с применением жадного алгоритма как решение минимизации используемых слоев и параметров CNN при максимизации качества сверхразрешения по численным характеристикам, содержащим среднеквадратичное отклонение, структурное подобие или подобное.
10. Способ по п. 1, в котором в качестве интеллектуальной системы используют:
автокодировщик, состоящий из кодера и декодера, работающих в паре, выполненный с возможностью обобщения и корреляции входных данных с тем, чтобы декодер преобразовывал изображение первого качества детализации в изображение второго качества детализации; или
нелинейную регрессию, выполненную с возможностью построения аппроксимации функции преобразования изображения первого качества детализации в изображение второго качества детализации как нелинейной комбинации параметров модели.
11. Мобильное устройство (20), содержащее:
процессор (20.1);
камеру (20.2), выполненную с возможностью захвата изображения первого качества детализации;
память (20.3), хранящую числовые параметры множества подготовленных интеллектуальных систем и инструкции, которые при исполнении процессором (20.1) побуждают процессор к выполнению способа сверхразрешения изображения, имитирующего повышение детализации на основе оптической системы, по любому из предшествующих пп. 1-10.
