Система и способ генерации изображений, содержащих текст
Владельцы патента RU 2717787:
Акционерное общество Научно-производственный центр "Электронные вычислительно-информационные системы" (RU)
Изобретение относится к области обработки данных. Техническим результатом является уменьшение сложности и времени генерации изображений, содержащих текст. Система генерации изображений, содержащих текст, содержит блок 1 формирования изображения текста и блок 2 формирования фонового изображения, выходы которых соединены со входом блока 3 бесшовной вставки, вход которого соединен с входом блока 4 вариации итогового изображения, причем блок 2 формирования фонового изображения выполнен с возможностью формирования изображения фона и передачи его в блок бесшовной вставки, блок 1 формирования изображения текста выполнен с возможностью формирования изображения текста и передачи его в блок 3 бесшовной вставки, который выполнен с возможностью формирования итогового изображения путем наложения изображения текста на фоновое изображение, уменьшения дефектов изображения на границе изображения текста и изображения фона и передачи итогового изображения в блок 4 вариации итогового изображения, который выполнен с возможностью модификации итогового изображения и передачи его во внешний блок 5 обучения алгоритмов распознавания. 2 н. и 6 з.п. ф-лы, 4 ил.
Изобретение относится к области обработки данных, а именно к системам и способам генерации изображений, содержащих текст, и может быть использовано в системах оптического распознавания символьной информации, в том числе текстов, расположенных на этикетках и табличках заранее установленного формата.
Оптическое распознавание текстов применяют во многих областях: для перевода в электронный вид сканированных копий документов, для идентификации транспортных средств по изображению государственного регистрационного знака, для фиксации и перевода в текстовый вид любых надписей, встречающихся в потоке изображений оптических приборов.
Способы оптического распознавания текстов можно разделить на две категории: способы, основанные на эвристических алгоритмах анализа структуры текста с последующим выделением текстовой информации, и способы, основанные на алгоритмах машинного обучения, параметры которых подбирают на предварительном этапе в процессе анализа большого количества изображений с отмеченным на них операторами вручную текстом.
Эвристические алгоритмы, как правило, обладают высоким быстродействием, поскольку основаны на быстром анализе характерных частот изображений фона и шрифта текстов. Однако, к недостаткам таких алгоритмов следует отнести высокую степень привязанности алгоритмических блоков к конкретному формату распознаваемых текстов, и, соответственно, большую трудоёмкость адаптации этих алгоритмов к новым форматам фонов и шрифтов текстов.
Алгоритмы, основанные на машинном обучении, лишены указанного выше недостатка: для внедрения нового формата текстов, который нужно распознать, как правило, достаточно сформировать обучающую выборку необходимого объёма с указанным вручную положением символов текста. Как правило, в качестве распознающего алгоритма в последнее время используют нейронные сети, поэтому для перехода к новым форматам текстов, этикеток, табличек достаточно указать новые архитектуры нейронных сетей и другие весовые коэффициенты нейронов, при этом сама реализация алгоритма распознавания не требует значительных модификаций. К существенному недостатку алгоритмов, основанных на машинном обучении, следует отнести большой объём входных данных, требуемых как для обучения алгоритма, так и для его тестирования. Подготовка этих данных является наиболее трудоёмкой частью процесса обучения алгоритмов оптического распознавания изображений текстов и знаков.
Учитывая, что системы оптического распознавания текстов нацелены на определённый формат, существует возможность создания систем и способов генерации изображений текстов именно в том формате, для которого предназначена исходная система оптического распознавания текстов. Причём, при генерации изображений текстов однозначно можно восстановить положение каждой буквы, поэтому нет необходимости вручную производить трудоёмкую операцию разметки положения символов на изображении, следовательно, процесс формирования обучающей выборки в таком случае происходит на несколько порядков быстрее.
Наиболее близкими к заявленному изобретению являются система и способ генерации изображений (патент CN106874937), основанные на использовании векторного шрифта и бинаризованного изображения целевого слова, в которых генерируют изображения путем изменения цветности, фона и других параметров исходных изображений, полученных в результате съемки. Данные система и способ выбраны в качестве прототипов заявленного изобретения.
Недостаток системы и способа прототипа заключается в том, что они генерируют изображения путем изменения исходных изображений, полученных в результате съемки, а не сгенерированных искусственно с помощью электронно-вычислительных средств, поэтому они требуют большого числа исходных снятых изображений, нахождение которых является трудоемким процессом с большими временными затратами. Это увеличивает сложность и время функционирования данных системы и способа, затрачиваемых на поиск или создание исходных снятых изображений.
Техническим результатом изобретения является создание системы и способа генерации изображений, содержащих текст, с меньшей сложностью и временем функционирования, за счет отказа от использования изображений, полученных в процессе съёмок, в пользу изображений, сгенерированных с помощью электронно-вычислительных средств генерации изображений.
Технический результат достигнут путем создания системы генерации изображений, содержащих текст, содержащей блок 1 формирования изображения текста и блок 2 формирования фонового изображения, выходы которых соединены со входом блока 3 бесшовной вставки, вход которого соединен с входом блока 4 вариации итогового изображения, причем
- блок 2 формирования фонового изображения выполнен с возможностью формирования изображения фона и передачи его в блок бесшовной вставки,
- блок 1 формирования изображения текста выполнен с возможностью формирования изображения текста и передачи его в
- блок 3 бесшовной вставки, который выполнен с возможностью формирования итогового изображения путем наложения изображения текста на фоновое изображение, при этом уменьшения дефектов изображения на границе изображения текста и изображения фона, а также с возможностью передачи итогового изображения в
- блок 4 вариации итогового изображения, который выполнен с возможностью модификации итогового изображения с помощью методов вариации изображения, применяемых для обучения алгоритмов компьютерного зрения, а также с возможностью передачи модифицированного итогового изображения во внешний блок 5 обучения алгоритмов распознавания, который является частью внешней системы распознавания изображений.
В предпочтительном варианте осуществления системы блок 2 формирования фонового изображения содержит блок 7 выбора фонового изображения, вход которого соединен с предварительно сформированной базой 6 фоновых изображений, а выход которого соединен с входом блока 8 выбора масштаба и области фонового изображения, причем
- блок выбора 7 фонового изображения выполнен с возможностью случайного выбора фонового изображения из предварительно сформированной базы 6 фоновых изображений и передачи его
- в блок 8 выбора масштаба и области фонового изображения, который выполнен с возможностью вероятностного изменения масштаба фонового изображения и случайной выборки области фонового изображения заданного размера в качестве конечного фонового изображения для итогового изображения, а также с возможностью передачи фонового изображения в блок 3 бесшовной вставки.
В предпочтительном варианте осуществления системы блок 1 формирования изображения текста содержит блок 9 случайного выбора параметров текста, выход которого соединен с входом блока 10 генерации текста, а выход которого соединен с входом блока 11 проективных преобразований, выход которого соединен с входом блока 12 вариации цветности, выход которого соединен с входом блока 13 симуляции помех, причем
- блок 9 случайного выбора параметров текста выполнен с возможностью выбора случайным образом параметров текста и передачи их через блок 10 генерации текста в блок 11 проективных преобразований, в блок 12 вариации цветности, и в блок 13 симуляции помех,
- блок 10 генерации текста выполнен с возможностью формирования изображения текста и передачи его в
- блок 11 проективных преобразований, который выполнен с возможностью преобразования изображения текста в соответствии с проективными параметрами и передачи его в
- блок 12 вариации цветности, который выполнен с возможностью преобразования изображения текста в соответствии с параметрами цветности и передачи его в
- блок 13 симуляции помех, который выполнен с возможностью преобразования изображения текста в соответствии с параметрами помех, приближающих вид формируемого текста к тексту, существующему при реальных условиях, а также с возможностью передачи изображения текста в блок бесшовной вставки.
В предпочтительном варианте осуществления системы параметры текста выбраны из набора параметров, содержащего параметры дальности, угла обзора, перспективы, цвета, резкости, контрастности, а также параметры помех, приближающих вид формируемого текста к тексту, существующему в реальных условиях.
Технический результат достигнут также путем создания способа генерации изображений, содержащих текст, в котором
- с помощью блока 2 формирования фонового изображения формируют изображение фона и передают его в блок бесшовной вставки,
- с помощью блока 1 формирования изображения текста формируют изображение текста и передают его в
- с помощью блока 3 бесшовной вставки формируют итоговое изображение путем наложения изображения текста на фоновое изображение, при этом уменьшают дефекты изображения на границе изображения текста и изображения фона, а также передают итоговое изображение в
- блок 4 вариации итогового изображения, с помощью которого модифицируют итоговое изображение с помощью методов вариации изображения, применяемых для обучения алгоритмов компьютерного зрения, а также передают модифицированное итоговое изображение во внешний блок 5 обучения алгоритмов распознавания, который является частью внешней системы распознавания изображений.
В предпочтительном варианте осуществления способа блок 2 формирования фонового изображения содержит блок 7 выбора фонового изображения, вход которого соединен с предварительно сформированной базой 6 фоновых изображений, а выход которого соединен с входом блока 8 выбора масштаба и области фонового изображения, причем
- с помощью блока выбора 7 фонового изображения случайно выбирают фоновое изображение из предварительно сформированной базы 6 фоновых изображений и передают его
- в блок 8 выбора масштаба и области фонового изображения, с помощью которого вероятностно изменяют масштаб фонового изображения и случайной выборки области фонового изображения заданного размера в качестве конечного фонового изображения для итогового изображения, а также передают фоновое изображение в блок 3 бесшовной вставки.
В предпочтительном варианте осуществления способа блок 1 формирования изображения текста содержит блок 9 случайного выбора параметров текста, выход которого соединен с входом блока 10 генерации текста, а выход которого соединен с входом блока 11 проективных преобразований, выход которого соединен с входом блока 12 вариации цветности, выход которого соединен с входом блока 13 симуляции помех, причем
- с помощью блока 9 случайного выбора параметров текста выбирают случайным образом параметры текста и передают их через блок 10 генерации текста в блок 11 проективных преобразований, в блок 12 вариации цветности, и в блок 13 симуляции помех,
- с помощью блока 10 генерации текста формируют изображение текста и передают его в
- блок 11 проективных преобразований, с помощью которого преобразовывают изображение текста в соответствии с проективными параметрами и передают его в
- блок 12 вариации цветности, с помощью которого преобразовывают изображение текста в соответствии с параметрами цветности и передают его в
- блок 13 симуляции помех, с помощью которого преобразовывают изображение текста в соответствии с параметрами помех, приближающих вид формируемого текста к тексту, существующему при реальных условиях, а также передают изображение текста в блок бесшовной вставки.
В предпочтительном варианте осуществления способа параметры текста выбирают из набора параметров, содержащего параметры дальности, угла обзора, перспективы, цвета, резкости, контрастности, а также параметры помех, приближающих вид формируемого текста к тексту, существующему в реальных условиях.
Для лучшего понимания заявленного изобретения далее приводится его подробное описание с соответствующими графическими материалами.
Фиг. 1. Схема системы генерации изображений, содержащих текст, выполненная согласно изобретению.
Фиг. 2. Схема блока формирования фонового изображения, выполненная согласно изобретению.
Фиг. 3. Схема формирования изображения текста, выполненная согласно изобретению.
Фиг. 4. Пример изображения текста, сгенерированного согласно изобретению:
a) исходный текст;
b) сгенерированное изображение, содержащее изображение исходного текста и фоновое изображение.
Элементы:
1 – блок формирования изображения текста;
2 – блок формирования фонового изображения;
3 – блок бесшовной вставки;
4 – блок вариации итогового изображения;
5 – блок обучения алгоритмов распознавания;
6 – база фоновых изображений;
7 – блок выбора фонового изображения;
8 – блок выбора масштаба и области фонового изображения;
9 – блок случайного выбора параметров текста;
10 – блок генерации текста;
11 – блок проективных преобразований;
12 – блок вариации цветности;
13 – блок симуляции помех.
Рассмотрим более подробно вариант выполнения изобретения, показанный на фиг. 1 - 4. Для обучения алгоритмов распознавания изображений требуется большое количество изображений текстов (обучающих примеров), на которых тексты должны быть видны на разнообразном фоне, при этом фон должен в максимальной степени соответствовать тому реальному фону, который будут распознавать с помощью реальной системы оптического распознавания текстов.
Сначала формируют отдельно случайное фоновое изображение с помощью блока 2 формирования фонового изображения и изображение текста с помощью блока 1 формирования изображения текста (фиг. 1). Затем с помощью блока 3 бесшовной вставки изображение текста накладывают на изображение фона, при этом уменьшают дефекты изображения на границах, где изображение текста переходит в фоновое изображение. После этого с помощью блока 4 вариации итогового изображения модифицируют итоговое изображение с помощью методов вариации изображения, обычно применяемых для обучения алгоритмов компьютерного зрения. После чего передают модифицированное изображение во внешний блок 5 обучения алгоритмов распознавания, который является частью внешней системы распознавания изображений.
Тогда как изображения требуемых текстов можно синтезировать программно, поскольку их вид сильно формализован, фоновое изображение может отличаться крайним разнообразием. В то же время во многих случаях требуемые фоновые изображения во множестве могут быть собраны из доступных источников (изображения в Интернет, общедоступные наборы данных, другие фото и видеоматериалы), поэтому целесообразно использовать в качестве фоновых такие изображения из доступных источников и размещать на них синтезированные изображения текстов. При этом в простейшем случае изображение текста наносят на фоновое изображение в случайно выбранном месте, в результате чего положение изображение текста оказывается расположенным нереалистично, но это является платой за простоту заявленных системы и способа и не мешает последующему полноценному использованию итогового изображения во внешних системах распознавания изображений.
В блоке 2 формирования фонового изображения выполняют следующие операции (фиг. 2). С помощью блока 7 выбора фонового изображения осуществляют случайную выборку фонового изображения из предварительно сформированной базы 6 фоновых изображений. С помощью блока 8 выбора масштаба и области фонового изображения осуществляют вероятностное изменение масштаба фонового изображения и случайную выборку области фонового изображения заданного размера в качестве конечного фонового изображения для итогового изображения, после чего передают фоновое изображение в блок 3 бесшовной вставки.
В блоке 1 формирования изображения текста выполняют следующие операции (фиг. 3). Для каждого генерируемого изображения с помощью блока 9 случайного выбора параметров текста выбирают случайным образом параметры текста, в пределах ограничений, определяемых конкретной задачей. Затем с помощью блока 10 генерации текста формируют изображение текста на нейтральном фоне. С помощью блока 11 проективных преобразований выбирают случайные параметры дальности, угла зрения в пределах допустимых для решаемой задачи, и к изображению текста применяют соответствующее перспективное преобразование, в результате чего формируют изображение текста под заданным углом зрения. Затем с помощью блока 12 вариации цветности вносят случайные искажения параметров цвета, резкости, контрастности изображения текста. После этого с помощью блока 13 симуляции помех наносят на изображение текста помехи, приближающие его вид к получаемому при реальных съемках.
Поскольку сформированные в результате функционирования заявленного изобретения изображения текста выделяются на фоновом изображении по качеству, балансу белого и прочим параметрам, есть риск, что внешняя система оптического распознавания текстов будет использовать эти признаки (которых не будет в реальных условиях). Для того, чтобы уменьшить это влияние, одновременно с генерацией требуемых текстов формируют по аналогичным правилам ложные примеры, на которые не должна реагировать внешняя система оптического распознавания текстов (в том числе надписи иного формата и прочие изображения объектов), которые также наносят на изображение фона. Полученные фоновые изображения используют при обучении внешней система оптического распознавания текстов в качестве ложных примеров.
Поскольку при преобразовании изображения текста в блоке 11 с помощью перспективного преобразования возникают искажения по границе изображения текста, при наложении его на фоновое изображение граница оказывается четко очерченной, что отличает сгенерированное изображение от реального. Для борьбы с этим эффектом применяют блок 3 бесшовной вставки, функционирующий следующим образом.
При формировании исходного изображения текста одновременно формируют маску, ограничивающую его (значение маски = 1 в точках, принадлежащих тексту и 0 в точках, не принадлежащих тексту). При дальнейших изменениях изображения одновременно изменяют маску, при этом там, где на границе изображение размывается между соседними пикселями, одновременно таким же образом размывается и маска.
Для того, чтобы сделать границы менее идеально-прямыми, в пределах заданного количества a пикселей от границы (конкретное значение a составляет несколько пикселей и является параметром метода) в каждой точке (пикселе) значение маски заменяют минимальным значением маски в соседних пикселях, расположенных на расстоянии b от данного пикселя, причем значение b в пределах от 0 до a в каждом пикселе выбирают случайно.
При формировании итогового изображения яркость I каждого пикселя рассчитывают по формуле I = m*If + (1-m)*Ib, где m – значение маски в данном пикселе после преобразований, описанных выше, If и Ib, соответственно, яркость изображения текста после преобразований и яркость фонового изображения.
В результате осуществления бесшовной вставки на итоговом изображении отсутствуют искажения, которые присутствовали бы, если бы одно изображение просто заменялось другим в некоторой области, кроме того на итоговом изображении граница размывается, как это бывает на реальных изображениях.
Заявленное изобретение решает проблему трудоёмкости подготовки исходных данных для процесса обучения алгоритмов распознавания текстов. В заявленном изобретении характерное время генерации одного изображения составляет менее 1 секунды, что в тысячи раз меньше времени подготовки размеченных вручную изображений, особенно с учетом времени, необходимого для организации и проведения съёмок текстов с различными параметрами.
Хотя описанный выше вариант выполнения изобретения был изложен с целью иллюстрации заявленного изобретения, специалистам ясно, что возможны разные модификации, добавления и замены, не выходящие из объема и смысла заявленного изобретения, раскрытого в прилагаемой формуле изобретения.
1. Система генерации изображений, содержащих текст, содержащая блок 1 формирования изображения текста и блок 2 формирования фонового изображения, выходы которых соединены со входом блока 3 бесшовной вставки, вход которого соединен с входом блока 4 вариации итогового изображения, причем
- блок 2 формирования фонового изображения выполнен с возможностью формирования изображения фона и передачи его в блок бесшовной вставки,
- блок 1 формирования изображения текста выполнен с возможностью формирования изображения текста и передачи его в
- блок 3 бесшовной вставки, который выполнен с возможностью формирования итогового изображения путем наложения изображения текста на фоновое изображение, при этом уменьшения дефектов изображения на границе изображения текста и изображения фона, а также с возможностью передачи итогового изображения в
- блок 4 вариации итогового изображения, который выполнен с возможностью модификации итогового изображения с помощью методов вариации изображения, применяемых для обучения алгоритмов компьютерного зрения, а также с возможностью передачи модифицированного итогового изображения во внешний блок 5 обучения алгоритмов распознавания, который является частью внешней системы распознавания изображений.
2. Система по п. 1, отличающаяся тем, что блок 2 формирования фонового изображения содержит блок 7 выбора фонового изображения, вход которого соединен с предварительно сформированной базой 6 фоновых изображений, а выход которого соединен с входом блока 8 выбора масштаба и области фонового изображения, причем
- блок выбора 7 фонового изображения выполнен с возможностью случайного выбора фонового изображения из предварительно сформированной базы 6 фоновых изображений и передачи его
- в блок 8 выбора масштаба и области фонового изображения, который выполнен с возможностью вероятностного изменения масштаба фонового изображения и случайной выборки области фонового изображения заданного размера в качестве конечного фонового изображения для итогового изображения, а также с возможностью передачи фонового изображения в блок 3 бесшовной вставки.
3. Система по п. 1, отличающаяся тем, что блок 1 формирования изображения текста содержит блок 9 случайного выбора параметров текста, выход которого соединен с входом блока 10 генерации текста, а выход которого соединен с входом блока 11 проективных преобразований, выход которого соединен с входом блока 12 вариации цветности, выход которого соединен с входом блока 13 симуляции помех, причем
- блок 9 случайного выбора параметров текста выполнен с возможностью выбора случайным образом параметров текста и передачи их через блок 10 генерации текста в блок 11 проективных преобразований, в блок 12 вариации цветности и в блок 13 симуляции помех,
- блок 10 генерации текста выполнен с возможностью формирования изображения текста и передачи его в
- блок 11 проективных преобразований, который выполнен с возможностью преобразования изображения текста в соответствии с проективными параметрами и передачи его в
- блок 12 вариации цветности, который выполнен с возможностью преобразования изображения текста в соответствии с параметрами цветности и передачи его в
- блок 13 симуляции помех, который выполнен с возможностью преобразования изображения текста в соответствии с параметрами помех, приближающих вид формируемого текста к тексту, существующему при реальных условиях, а также с возможностью передачи изображения текста в блок бесшовной вставки.
4. Система по п. 3, отличающаяся тем, что параметры текста выбраны из набора параметров, содержащего параметры дальности, угла обзора, перспективы, цвета, резкости, контрастности, а также параметры помех, приближающих вид формируемого текста к тексту, существующему в реальных условиях.
5. Способ генерации изображений, содержащих текст, в котором
- с помощью блока 2 формирования фонового изображения формируют изображение фона и передают его в блок бесшовной вставки,
- с помощью блока 1 формирования изображения текста формируют изображение текста и передают его в блок бесшовной вставки,
- с помощью блока 3 бесшовной вставки формируют итоговое изображение путем наложения изображения текста на фоновое изображение, при этом уменьшают дефекты изображения на границе изображения текста и изображения фона, а также передают итоговое изображение в
- блок 4 вариации итогового изображения, с помощью которого модифицируют итоговое изображение с помощью методов вариации изображения, применяемых для обучения алгоритмов компьютерного зрения, а также передают модифицированное итоговое изображение во внешний блок 5 обучения алгоритмов распознавания, который является частью внешней системы распознавания изображений.
6. Способ по п. 5, отличающийся тем, что блок 2 формирования фонового изображения содержит блок 7 выбора фонового изображения, вход которого соединен с предварительно сформированной базой 6 фоновых изображений, а выход которого соединен с входом блока 8 выбора масштаба и области фонового изображения, причем
- с помощью блока выбора 7 фонового изображения случайно выбирают фоновое изображение из предварительно сформированной базы 6 фоновых изображений и передают его
- в блок 8 выбора масштаба и области фонового изображения, с помощью которого вероятностно изменяют масштаб фонового изображения и случайной выборки области фонового изображения заданного размера в качестве конечного фонового изображения для итогового изображения, а также передают фоновое изображение в блок 3 бесшовной вставки.
7. Способ по п. 5, отличающийся тем, что блок 1 формирования изображения текста содержит блок 9 случайного выбора параметров текста, выход которого соединен с входом блока 10 генерации текста, а выход которого соединен с входом блока 11 проективных преобразований, выход которого соединен с входом блока 12 вариации цветности, выход которого соединен с входом блока 13 симуляции помех, причем
- с помощью блока 9 случайного выбора параметров текста выбирают случайным образом параметры текста и передают их через блок 10 генерации текста в блок 11 проективных преобразований, в блок 12 вариации цветности, и в блок 13 симуляции помех,
- с помощью блока 10 генерации текста формируют изображение текста и передают его в
- блок 11 проективных преобразований, с помощью которого преобразовывают изображение текста в соответствии с проективными параметрами и передают его в
- блок 12 вариации цветности, с помощью которого преобразовывают изображение текста в соответствии с параметрами цветности и передают его в
- блок 13 симуляции помех, с помощью которого преобразовывают изображение текста в соответствии с параметрами помех, приближающих вид формируемого текста к тексту, существующему при реальных условиях, а также передают изображение текста в блок бесшовной вставки.
8. Способ по п. 7, отличающийся тем, что параметры текста выбирают из набора параметров, содержащего параметры дальности, угла обзора, перспективы, цвета, резкости, контрастности, а также параметры помех, приближающих вид формируемого текста к тексту, существующему в реальных условиях.
