Способ и средство для мобильного захвата, обработки, хранения и передачи текста и смешанной информации, содержащей знаки и изображения
Изобретение относится к средствам обработки, захвата и передачи текста и смешанной информации, содержащей знаки и изображения. Техническим результатом является обеспечение возможности захвата, распознавания и сохранения текстовой и другой информации. Результат достигается тем, что изображение сначала анализируют по отношению к его текстовой информации, после чего первоначальное изображение сегментируют на блок текста и блок изображения, при этом текст интерпретируют посредством методов оптического распознавания символов, преобразуют и сжимают в код. При этом код дополняют графической информацией, позволяющей создавать синтезированное изображение блока текста. 2 н. и 10 з.п. ф-лы.
Существует множество различных ситуаций, в которых возникает реальная потребность в захвате ("вводе") быстрым, эффективным и простым способом большого количества информации в виде текста или текста+изображения при отсутствии доступа к техническим ресурсам, таким как копировальные машины, сканеры, факсы и компьютеры, которые в настоящее время часто используются в офисах. Примером такой ситуации, где настоящее изобретение было бы наиболее полезным, может служить перелет на самолете, в котором пассажир читает интересную статью с иллюстрациями и диаграммами, например, в газете "Файнэншнл таймс" (Financial Times), и где пассажиру необходимо, по возможности быстро, передать соответствующую информацию коллеге или сохранить статью в качестве ссылки для себя и других. В настоящее время у такого читателя есть выбор, либо вырвать интересные страницы, либо взять с собой целиком всю газету. Во время поездки на конференцию или во время другой более продолжительной поездки ситуация может снова повториться, в результате чего на практике возникает проблема обработки документов с большим объемом информации.
Существует множество подобных ситуаций, где имеется потребность в сборе и/или передаче полученной печатной информации без ограничения или зависимости от офисного оборудования с помощью современных средств, например в случаях, когда читать или работать приходится в постели из-за болезни или лени.
Цель настоящего изобретения состоит в том, чтобы решить эффективным, практическим и гибким способом обозначенную таким образом проблему. Решение основано на комбинации и дальнейшем развитии имеющихся технологий, прежде всего цифровой фотографии, интеллектуальной обработки изображений, включая оптическое распознавание символов (ОРС (OCR)), векторную графику, сжатие данных, широкополосную передачу данных и обработку базы данных.
Основанием для изобретения является использование компактной цифровой камеры ("фотоаппарата"), предпочтительно имеющей широкоугольную оптику, большую апертуру и большую глубину резкости изображения, в том числе и на малых расстояниях, где интеллектуальные возможности основаны на программном обеспечении для обработки и интерпретации полного изображения таким способом, что те части, которые содержат текст, распознаются, преобразовываются и сохраняются в виде, например, ASCII- или EBCDIC-кода, тогда как оставшиеся части сохраняются в виде изображения с требуемым разрешением.
Кроме того, особым признаком способа согласно изобретению является то, что программное обеспечение имеет средства искусственного интеллекта (логические возможности) для интерпретации характеристик качества изображения, таких как шрифт и компоновка, и возможность использования интерпретации для восстановления/синтеза изображения, которое сравнивают с (накладывают на) первоначальным текстом. В случае приемлемого результата сравнения, те части первоначального изображения, которые содержат блоки текста, удаляют, после чего сохраненная информация состоит из кодированного текста, информации о расположении и неинтерпретированных частей изображения.
В тех случаях, где не было достигнуто приемлемого совпадения оригинала с восстановленными/синтезированными изображениями блоков текста, необработанное изображение сохраняется в своем первоначальном формате. Результатом сравнения может быть, например, число совпавших точек, выраженное в процентах. Кроме того, в случае очень хорошего совпадения в процентном отношении могут быть одиночные знаки, слова или фразы, которые интерпретированы неправильно. Такая неинтерпретированная или неправильно интерпретированная первоначальная информация не удаляется из текстового блока, а вместо этого отображается в виде отмеченного соответствующим образом изображения, вставленного в интерпретированный текст. Таким образом, после этого пользователь имеет возможность вмешаться и помочь программе интерпретировать отмеченные таким образом секции.
Другая особенность способа согласно изобретению заключается в том, что программные средства интерпретации, которые в предпочтительном варианте осуществления изобретения установлены непосредственно в камере, но которые можно также выполнить в виде внешнего модуля, включают в себя алгоритмы, основанные на способах векторной графики для анализа и хранения информации относительно расположения первоначального изображения, и эта информация используется в контексте с процедурой сравнения оригинала и синтезируемых изображений и, при необходимости, при последующей распечатке синтезированного изображения для того, чтобы восстановить расположение, которое адаптировано к печати в выбранном формате (например, A4), и по возможности воспроизводит первоначальное расположение. Это важно, так как компоновка (включающая в себя аспекты, такие как подчеркивание, курсив, разбиение на более мелкие части и т.д.) может иметь большое значение для понимания содержания и контекста.
Камера может дополнительно выполнять функции кадрирования с тем, чтобы только определенные выбранные части изображения сохранялись и обрабатывались, посредством чего информация о тексте или изображении, которая считается необязательной (например, картина с синим небом и кукурузным полем в статье о нашей окружающей природе или картина соблазнительной женщины в статье о роли секса), устраняется уже в первоисточнике.
Согласно изобретению информацию можно пометить уже с помощью программных средств интеллектуальной (обладающей логическими возможностями) камеры с тем, чтобы в дальнейшем облегчить обработку информации в базах данных. Это достигается с помощью свойственных функциональных возможностей для автоматического распознавания таких характеристик, как заголовки и имена авторов, а также автоматического выбора ключевых слов из заголовков.
Для получения более высокой гибкости программные средства интеллектуальной камеры можно расширить с помощью опций для перевода на различные языки, и/или для интерпретации математических символов и формул, и/или распознавания одного или нескольких почерков. Распознавание почерка может быть, предпочтительно, основано на алгоритмах самообучения в нейронных системах.
В зависимости от уровня разработки, касающейся емкости памяти и мощности процессора, средства искусственного интеллекта, по возможности, располагают непосредственно внутри камеры. Однако функции и опции, которые на данном уровне разработки рассматриваются как слишком зависящие с точки зрения емкости памяти или мощности процессора и производительности, можно реализовать и выполнить внешним образом, в результате чего могут оказаться очень полезными высокоскоростные протоколы связи (такие как стандарт высокопроизводительной последовательной шины IEEE 1394 (FIRE WIRE 1394)).
Соединение интеллектуальной мобильной цифровой камеры с мобильным телефоном с широкой полосой пропускания позволяет осуществить передачу интерпретированных и сжатых данных в свою собственную базу данных или третьим сторонам. Передачу можно выполнить в режиме реального времени или с задержкой на основании сохраненных данных.
С практической точки зрения важной характеристикой средства согласно изобретению является то, что камера может быть оборудована для получения сверхширокоугольной фотографии для того, чтобы, например, целую страницу вышеупомянутой газетной публикации можно было записать при одной экспозиции на обычном расстоянии наблюдения (от 0,3 до 0,5 м). Это можно достигнуть посредством специальных широкоугольных линз ("объективов"), посредством чего искажения корректируют цифровым способом или фасетными линзами согласно принципу наложения или суперпозиции, посредством чего полное изображение синтезируют с помощью вычислительных средств или с помощью оптики со сканирующим устройством, таким как подвижное зеркало, в случае которого полную картину также составляют с помощью программных средств.
В объеме изобретения, конечно, допускается, что интеллектуальную камеру можно использовать так же, как и известную цифровую камеру.
1. Способ мобильного захвата, обработки и сохранения информации, такой, как текст, содержащейся в изображениях, снимаемых цифровой камерой с микропроцессором, памятью и программными средствами, отличающийся тем, что пользователь имеет возможность выбрать, использовать ли камеру в интеллектуальном режиме или как обычную камеру, и если камеру используют как интеллектуальную камеру, то указанную информацию анализируют на наличие текстовой информации, распознают и интерпретируют, например, посредством техники оптического распознавания символов (OCR) и сохраняют в сжатом виде для дальнейшей обработки.
2. Способ по п.1, отличающийся тем, что свойства текста, такие, как шрифт, подчеркивание, жирное начертание и т.п., распознают и добавляют к интерпретированному тексту.
3. Способ по п.1 или 2, отличающийся тем, что полную собранную информацию об интерпретированном изображении используют для создания синтезированного изображения, которое сравнивают с первоначальным изображением, и последнее удаляют из памяти камеры при достаточно хорошем совпадении между синтезированным и первоначальным изображениями.
4. Способ по п.1 или 2, отличающийся тем, что первоначальное изображение сегментируют на два блока, один из которых содержит интерпретированную информацию, а другой - остальную релевантную информацию первоначального изображения, и эти блоки помечают так, чтобы их можно было обрабатывать и передавать по отдельности и, при необходимости, повторно объединить для воспроизведения первоначального изображения.
5. Способ по п.1 или 2, отличающийся тем, что при воспроизведении повторно объединенного изображения в формате, который отличается от формата первоначального изображения, указанное воспроизведение выполняют так, чтобы компоновка воспроизведенного изображения совпадала, насколько возможно, с компоновкой первоначального изображения.
6. Способ по п.1 или 2, отличающийся тем, что текстовую информацию автоматически анализируют в отношении таких характеристик, как имя автора, название публикации и ключевые слова заголовка, и помечают информацию с помощью таких характеристик для облегчения систематизированного хранения информации в базах данных и извлечения ее из баз данных.
7. Средство мобильного захвата, обработки и сохранения информации, такой, как текст, содержащейся в изображениях, согласно способу по любому из пп.1-6, содержащее цифровую камеру с микропроцессором, память и программные средства, отличающееся тем, что указанная камера выполнена с возможностью переключения между двумя режимами использования, а именно использованием в качестве обычной цифровой камеры и в качестве интеллектуальной цифровой камеры, причем в интеллектуальном режиме указанная камера способна распознавать информацию, например, посредством техники оптического распознавания символов (OCR), интерпретировать информацию, такую, как штриховой код, и сохранять информацию в сжатом виде для последующей обработки.
8. Средство по п.7, отличающееся тем, что искажения, вносимые объективом, корректируются цифровым способом, чтобы восстановить неискаженное изображение.
9. Средство по п.8, отличающееся тем, что объектив камеры выполнен сверхширокоугольным.
10. Средство по п.8, отличающееся тем, что указанный объектив выполнен в виде фасеточного объектива по принципу наложения частичных изображений, между которыми имеется некоторое перекрытие, а непрерывное полное изображение формируется с помощью программных средств.
11. Средство по п.8, отличающееся тем, что указанный объектив выполнен в виде фасеточного объектива по принципу суперпозиции и, при необходимости, искажения корректируются с помощью программных средств.
12. Средство по любому из пп.7-11, отличающееся тем, что указанная камера снабжена функциями кадрирования для сохранения и обработки только отдельных выбранных частей изображения, для устранения необязательной информации уже в первоисточнике.
