Способ обработки визуального объекта и электронное устройство, используемое в нем

Изобретение относится к обработке визуального объекта. Технический результат - повышение правильности распознавания текста выбранной части изображения в случае, когда захвачена часть второго изображения. Для этого предусмотрено: вывод изображения на экран дисплея; выбор пользователем первой части изображения; распознавание текста в пределах выбранной части текста и невыбранной части текста, расположенной на второй части изображения, отличающейся от первой части изображения, для отображения распознанной части текста при выборе пользователем первой части изображения, содержащей выбранную текстовую часть; причем осуществляют определение по меньшей мере одного из логических продолжений и логических расширений невыбранной части текста по отношению к выбранной части текста. 2 н. и 51 з.п. ф-лы, 16 ил.

 

Область техники, к которой относится изобретение

Настоящее изобретение относится к способам обработки визуального объекта.

Уровень техники

Большинство электронных устройств способны работать с визуальными объектами. Среди таких устройств представлены сканеры изображений, которые оцифровывают двумерное изображение, смартфоны, которые захватывают изображения с использованием встроенных камер, сканеры штрих-кодов, которые считывают зашифрованные данные в штрих-коде, сканеры визитных карточек и считыватели визитных карточек, а также другие устройства. Некоторые из таких устройств конвертируют полученную информацию в другие форматы и обрабатывают данные.

Некоторые электронные устройства, имеющие CamCard приложение от IntSig Information Co., Ltd, считывают визитные карточки и сохраняют их в базы данных с информацией о контактах. Они синхронизируют все карточки во всех смартфонах, планшетах, компьютерах и веб-приложениях пользователя. Приложение CamCard может быть использовано на iPhone 3GS, iPhone 4, iPhone 4S, iPhone 5, iPhone 5s, iPhone 5c, iPod Touch 5, iPad(Retina) и на iPad mini. Смартфон, на котором установлено приложение CamCard, осуществляет захват визитной карточки с помощью встроенной камеры, а затем распознает элементы всей визитной карточки, обрабатывает данные и сохраняет информацию в памяти. Приложение CamCard предназначено для работы за один раз использования только с одной визитной карточкой. Если захвачена часть второй визитной карточки, то это может влиять на правильность распознавания. Другие объекты, не являющиеся визитной карточкой, не предназначены для распознавания.

Некоторые электронные устройства, на которых установлено программное обеспечение Snap to Text от RTC Hubs Limited, конвертируют документы на бумажном носителе в электронную версию текста, такую как PDF файлы. Используя электронное устройство, на котором установлено приложение Snap to Text от RTC Hubs Limited, и запустив его, пользователь извлекает текст из изображения и преобразует его в редактируемый текстовый документ, создает категории сохраненных элементов и сохраняет страницы по категориям, извлекает текст из различных источников изображений, таких как квитанции, проездные билеты, книги, соглашения и так далее, распространяет в текстовом формате или формате PDF посредством передачи по Wi-Fi в облачное хранилище данных Dropbox или электронную почту, а также создает свои собственные теги для того, чтобы сохранить текстовые файлы.

Электронные устройства, известные в данной области, работают со всеми изображениями, которые сделаны с помощью камеры или получены другим путем, а также с частями изображений, выбранными пользователем.

Раскрытие изобретения

Целью настоящей технологии является устранение по меньшей мере некоторых недостатков, присущих известному уровню техники.

Технический результат, который достигается в настоящем изобретении, заключается в повышении правильности распознавания текста изображения. В соответствии с первым независимым пунктом настоящей технологии предлагается способ обработки визуального объекта, реализуемый на компьютере. Способ выполняется на электронном устройстве, которое имеет экран дисплея, способ включает в себя: вывод изображения на экран дисплея; выбор пользователем первой части изображения; распознавание текста в пределах выбранной части текста и невыбранной части текста, расположенной на второй части изображения, отличающейся от первой части изображения, для отображения распознанной части текста при выборе пользователем первой части изображения, содержащей выбранную текстовую часть.

Возможен вариант осуществления способа, в котором электронное устройство содержит камеру, и в котором дополнительно выполняют захват изображения с помощью камеры перед выводом изображения на экран дисплея.

Возможен вариант осуществления способа, в котором вывод изображения на экран дисплея включает отображение размытой версии изображения.

Возможен вариант осуществления способа, в котором экран дисплея является тачскрином, а выбор пользователем первой части изображения осуществляют посредством идентификации действия касания, выполненного пользователем по отношению к экрану дисплея.

Возможен вариант осуществления способа, в котором экран дисплея является тачскрином, а выбор пользователем первой части изображения осуществляют посредством идентификации действия касания, выполненного пользователем по отношению к экрану дисплея.

Возможен вариант осуществления способа, в котором посредством действия касания, выполненного пользователем по отношению к экрану дисплея, посредством скольжения по экрану убирают часть размытой версии изображения, которая соответствует первой части изображения.

Возможен вариант осуществления способа, в котором вторая часть изображения является непосредственно примыкающей к первой части изображения.

Возможен вариант осуществления способа, в котором вторая часть изображения является непосредственно примыкающей к первой части изображения.

Возможен вариант осуществления способа, в котором вторая часть изображения является непосредственно примыкающей к первой части изображения.

Возможен вариант осуществления способа, в котором вторая часть изображения является непосредственно примыкающей к первой части изображения.

Возможен вариант осуществления способа, в котором дополнительно определяют, по меньшей мере, одно из логических продолжений и логических расширений невыбранной части текста по отношению к выбранной части текста.

Возможен вариант осуществления способа, в котором дополнительно определяют, по меньшей мере, одно из логических продолжений и логических расширений невыбранной части текста по отношению к выбранной части текста.

Возможен вариант осуществления способа, в котором дополнительно определяют, по меньшей мере, одно из логических продолжений и логических расширений невыбранной части текста по отношению к выбранной части текста.

Возможен вариант осуществления способа, в котором дополнительно определяют, по меньшей мере, одно из логических продолжений и логических расширений невыбранной части текста по отношению к выбранной части текста.

Возможен вариант осуществления способа, в котором на этапе определения по меньшей мере одного из логических продолжений и логических расширений: распознают весь текст, содержащийся в изображении, для отображения всего распознанного текста; выполняют анализ всего распознанного текста для определения возможного содержания в нем невыбранной части текста.

Возможен вариант осуществления способа, в котором на этапе определения по меньшей мере одного из логических продолжений и логических расширений: распознают весь текст, содержащийся в изображении, для отображения всего распознанного текста; выполняют анализ всего распознанного текста для определения возможного содержания в нем невыбранной части текста.

Возможен вариант осуществления способа, в котором анализ дополнительно включает в себя выбор невыбранной части текста на основе невыбранной части текста, являющейся логическим продолжением выбранной части текста.

Возможен вариант осуществления способа, в котором анализ дополнительно включает в себя выбор невыбранной части текста на основе невыбранной части текста, являющейся логическим продолжением выбранной части текста.

Возможен вариант осуществления способа, в котором анализ дополнительно включает в себя выбор невыбранной части текста на основе невыбранной части текста, являющейся логическим расширением выбранной части текста.

Возможен вариант осуществления способа, в котором анализ дополнительно включает в себя выбор невыбранной части текста на основе невыбранной части текста, являющейся логическим расширением выбранной части текста.

Возможен вариант осуществления способа, в котором выбранная часть текста состоит из первой выбранной части текста и второй выбранной части текста, невыбранная часть текста состоит из первой невыбранной части текста и второй невыбранной части текста, а анализ дополнительно включает в себя выбор: первой невыбранной части текста на основе первой невыбранной части текста, являющейся одним из логических продолжений и логических расширений по меньшей мере одной из первой выбранной части текста и второй выбранной части текста; и второй невыбранной части текста на основе второй невыбранной части текста, являющейся одним из логических продолжений и логических расширений по меньшей мере одной из первой выбранной части текста и второй выбранной части текста.

Возможен вариант осуществления способа, в котором выбранная часть текста состоит из первой выбранной части текста и второй выбранной части текста, невыбранная часть текста состоит из первой невыбранной части текста и второй невыбранной части текста, а анализ дополнительно включает в себя выбор: первой невыбранной части текста на основе первой невыбранной части текста, являющейся одним из логических продолжений и логических расширений по меньшей мере одной из первой выбранной части текста и второй выбранной части текста; второй невыбранной части текста на основе второй невыбранной части текста, являющейся одним из логических продолжений и логических расширений, по меньшей мере, одной из первой выбранной части текста и второй выбранной части текста.

Возможен вариант осуществления способа, в котором дополнительно отображают по меньшей мере часть распознанного элемента текста.

Возможен вариант осуществления способа, в котором дополнительно определяют категорию по меньшей мере части распознанного элемента текста.

Возможен вариант осуществления способа, в котором дополнительно отображают совет по выполнению действия относительно по меньшей мере части распознанного элемента текста.

Возможен вариант осуществления способа, в котором совет по выполнению действия относительно по меньшей мере части выбранного распознанного элемента текста основан на категории по меньшей мере части распознанного элемента текста.

Возможен вариант осуществления способа, в котором дополнительно выполняют действие относительно по меньшей мере части распознанного элемента текста.

Возможен вариант осуществления способа, в котором дополнительно выполняют действие относительно по меньшей мере части распознанного элемента текста.

Возможен вариант осуществления способа, в котором выполнение действия осуществляют в ответ на получение подтверждения пользователем выполнения действия относительно по меньшей мере части распознанного элемента текста.

Возможен вариант осуществления способа, в котором выполнение действия осуществляют в ответ на получение подтверждения пользователем выполнения действия относительно по меньшей мере части распознанного элемента текста.

Возможен вариант осуществления способа, в котором на этапе выполнения действия относительно по меньшей мере части распознанного элемента текста выполняют по меньшей мере одно из следующих действий: ввод по меньшей мере части распознанного элемента текста в календарь; ввод по меньшей мере части распознанного элемента текста в базу данных с информацией о контактах; отображение адреса на карте; создание маршрута к точке назначения; сохранение по меньшей мере части распознанного элемента текста.

Возможен вариант осуществления способа, в котором дополнительно сохраняют первую и вторую части изображения по отдельности в соответствии с распознанным элементом текста.

Возможен вариант осуществления способа, в котором дополнительно сохраняют первую и вторую части изображения вместе в соответствии с распознанным элементом текста.

Возможен вариант осуществления способа, в котором дополнительно индексируют, по меньшей мере, одно из следующего: распознанный элемент текста, изображение в целом, первую и вторую части изображения по меньшей мере части распознанного элемента текста, а также сохраняют полученный индекс.

Другим объектом настоящей технологии является электронное устройство, содержащее экран дисплея, процессор, соединенный с экраном дисплея, выполненный с возможностью получения доступа к машиночитаемым командам: вывода изображения на экран дисплея; выбора пользователем первой части изображения; распознавания текста выбранной части текста и невыбранной части текста, расположенной на второй части изображения, отличающейся от первой части изображения, для отображения распознанной части текста при выборе пользователем первой части изображения, содержащей выбранную текстовую часть.

Возможен вариант осуществления электронного устройства, в котором дополнительно имеется камера, функционально связанная с процессором, процессор выполнен с возможностью захвата изображения посредством камеры перед выводом изображения на экран дисплея.

Возможен вариант осуществления электронного устройства, в котором процессор выполнен с возможностью отображения размытой версии изображения.

Возможен вариант осуществления электронного устройства, в котором экран дисплея является тачскрином, процессор выполнен с возможностью получения данных о выборе пользователем первой части изображения посредством идентификации действия касания, выполненного пользователем на тачскрине.

Возможен вариант осуществления электронного устройства, в котором экран дисплея является тачскрином, процессор выполнен с возможностью получения данных о выборе пользователем первой части изображения посредством идентификации действия касания, выполненного пользователем на тачскрине.

Возможен вариант осуществления электронного устройства, в котором процессор выполнен с возможностью осуществления распознавания текста.

Возможен вариант осуществления электронного устройства, в котором процессор выполнен с возможностью осуществления распознавания текста.

Возможен вариант осуществления электронного устройства, в котором процессор выполнен с возможностью осуществления распознавания текста.

Возможен вариант осуществления электронного устройства, в котором процессор выполнен с возможностью осуществления распознавания текста.

Возможен вариант осуществления электронного устройства, в котором процессор выполнен с возможностью определения по меньшей мере одного из логических продолжений и логических расширений невыбранной части текста по отношению к выбранной части текста.

Возможен вариант осуществления электронного устройства, в котором процессор выполнен с возможностью определения по меньшей мере одного из логических продолжений и логических расширений невыбранной части текста по отношению к выбранной части текста.

Возможен вариант осуществления электронного устройства, в котором процессор выполнен с возможностью: распознавания всего текста, содержащегося в изображении, для его отображения; анализа всего распознанного текста для того, чтобы определить возможное содержание в нем невыбранной части текста.

Возможен вариант осуществления электронного устройства, в котором процессор выполнен с возможностью: распознавания всего текста, содержащегося в изображении, для его отображения; анализа всего распознанного текста для того, чтобы определить возможное содержание в нем невыбранной части текста.

Возможен вариант осуществления электронного устройства, в котором процессор выполнен с возможностью выбора невыбранной части текста на основе невыбранной части текста, которая является логическим продолжением выбранной части текста.

Возможен вариант осуществления электронного устройства, в котором процессор выполнен с возможностью выбора невыбранной части текста на основе невыбранной части текста, которая является логическим расширением выбранной части текста.

Возможен вариант осуществления электронного устройства, в котором процессор выполнен с возможностью выбора: первой невыбранной части текста на основе первой невыбранной части текста, являющейся одним из логических продолжений и логических расширений по меньшей мере одной из первой выбранной части текста и второй выбранной части текста, и второй невыбранной части текста на основе второй невыбранной части текста, являющейся одним из логических продолжений и логических расширений по меньшей мере одной из первой выбранной части текста и второй выбранной части текста.

Возможен вариант осуществления электронного устройства, в котором процессор выполнен с возможностью отображения, по меньшей мере, части распознанного элемента текста.

Возможен вариант осуществления электронного устройства, в котором процессор выполнен с возможностью определения категории, по меньшей мере, части распознанного элемента текста.

Возможен вариант осуществления электронного устройства, в котором процессор выполнен с возможностью отображения совета по выполнению действия в отношении по меньшей мере части распознанного элемента текста.

Возможен вариант осуществления электронного устройства, в котором процессор выполнен с возможностью выполнения действия в отношении по меньшей мере части распознанного элемента текста.

Возможен вариант осуществления электронного устройства, в котором процессор выполнен с возможностью выполнения указанного действия в отношении, по меньшей мере, части распознанного элемента текста в соответствии с подтверждением пользователем для выполнения действия в отношении, по меньшей мере, части распознанного элемента текста.

Возможен вариант осуществления электронного устройства, в котором процессор выполнен с возможностью выполнения указанного действия в отношении, по меньшей мере, части распознанного элемента текста, включающего в себя по меньшей мере одно из следующих действий: ввод по меньшей мере части распознанного элемента текста в календарь; ввод по меньшей мере части распознанного элемента текста в базу данных с информацией о контактах; отображение адреса на карте; создание маршрута к точке назначения; сохранение по меньшей мере части распознанного элемента текста.

Возможен вариант осуществления электронного устройства, в котором процессор выполнен с возможностью сохранения первой части изображения и второй части изображения в соответствии с распознанным элементом текста.

Возможен вариант осуществления электронного устройства, в котором процессор выполнен с возможностью сохранения первой части изображения и второй части изображения вместе в соответствии с распознанным элементом текста.

Возможен вариант осуществления электронного устройства, в котором процессор выполнен с возможностью индексирования по меньшей мере одного из следующего: распознанный элемент текста, изображение в целом, первая и вторая части изображения, по меньшей мере, части распознанного элемента текста, а также сохранения полученного индекса.

В контексте настоящего описания «скольжение по экрану» подразумевает англ. термин swipe (свайп), означающий «проводить не отрывая, скользить», действие реализуется пользователем путем проведения пальцем/стилусом по сенсорному экрану без отрыва. При этом траектория движения пальца/стилуса может быть различной, например, в виде прямой линии из одного конца сенсорного экрана в другой.

В контексте настоящего описания «сервер» подразумевает под собой компьютерную программу, работающую на соответствующем оборудовании, которая способна получать запросы (например, от клиентских устройств) по сети и выполнять эти запросы или инициировать их выполнение. Оборудование может представлять собой один физический компьютер или одну физическую компьютерную систему, но ни то, ни другое не является обязательным для настоящей технологии.

В контексте настоящей технологии использование определения «по меньшей мере один сервер» не означает, что каждая задача (например, полученные инструкции или запросы) или какая-либо конкретная задача будет получена, выполнена или инициирована к выполнению одним и тем же сервером (то есть одним и тем же программным обеспечением и/или аппаратным обеспечением); это означает, что любое количество элементов программного обеспечения или аппаратных устройств может быть вовлечено в прием/передачу, выполнение или инициирование выполнения любого запроса или последствия любого запроса, связанного с клиентским устройством, и все это программное и аппаратное обеспечение может быть одним сервером или несколькими серверами, поскольку оба варианта включены в определение «по меньшей мере один сервер».

В контексте настоящего описания «клиентское устройство» подразумевает под собой аппаратное устройство, способное работать с программным обеспечением, подходящим к решению соответствующей задачи. Таким образом, примерами (не имеющими ограничительного характера) клиентских устройств могут служить персональные компьютеры (настольные компьютеры, ноутбуки, нетбуки и т.п.) смартфоны, планшеты, а также сетевое оборудование, такое как маршрутизаторы, коммутаторы и шлюзы. Следует иметь в виду, что устройство, используемое в качестве клиентского устройства в настоящем контексте, может одновременно быть сервером по отношению к другим клиентским устройствам. Использование термина «клиентское устройство» не исключает возможности использования множества клиентских устройств для получения/отправки, выполнения или инициирования выполнения любой задачи или запроса, или же последствий любой задачи или запроса, или же этапов любого вышеописанного способа.

В контексте настоящего описания «база данных» подразумевает под собой любой структурированный набор данных, не зависящий от конкретной структуры, программного обеспечения по управлению базой данных, аппаратного обеспечения компьютера, на котором данные хранятся, используются или иным образом оказываются доступны для использования. База данных может находиться на том же оборудовании, выполняющем процесс, который сохраняет или использует информацию, хранящуюся в базе данных, или же она может находиться на отдельном оборудовании, таком как, например, выделенный сервер или некоторое количество серверов.

В контексте настоящего описания «информация» включает в себя информацию любого рода или типа, которая может храниться в базе данных. Таким образом, информация включает в себя, среди прочего, аудиовизуальные произведения (изображения, видео, звукозаписи, презентации и т.д.), данные (данные о местоположении, цифровые данные и т.д.), текст (мнения, комментарии, вопросы, сообщения и т.д.), документы, таблицы и т.д.

В контексте настоящего описания «компонент» подразумевает под собой программное обеспечение (соответствующее конкретному аппаратному контексту), которое является необходимым и достаточным для выполнения конкретной(-ых) указанной(-ых) функции(-й).

В контексте настоящего описания «используемый компьютером носитель информации» подразумевает под собой носитель абсолютно любого типа и характера, включая ОЗУ, ПЗУ, диски (компакт диски, DVD-диски, дискеты, жесткие диски и т.д.) USB флеш-накопители, твердотельные накопители, накопители на магнитной ленте и т.д.

В контексте настоящего описания определения «первый», «второй», «третий» и т.д. используются в виде прилагательных исключительно для того, чтобы отличать существительные, к которым они относятся, друг от друга, а не для целей описания какой-либо конкретной связи между этими существительными. Так, например, следует иметь в виду, что использование терминов «первый сервер» и «третий сервер» не подразумевает какого-либо порядка, отнесения к определенному типу, хронологии, иерархии или ранжирования (например) серверов/между серверами, равно как и их использование (само по себе) не предполагает, что некий «второй сервер» обязательно должен существовать в той или иной ситуации. Дополнительно, как указано в настоящем документе, в других контекстах, упоминание «первого» элемента и «второго» элемента не исключает возможности того, что это один и тот же фактический реальный элемент. Так, например, в некоторых случаях, «первый» сервер и «второй» сервер могут являться одним и тем же программным и/или аппаратным обеспечением, а в других случаях они могут являться разным программным и/или аппаратным обеспечением.

Каждый вариант осуществления настоящей технологии включает по меньшей мере одну из вышеупомянутых целей и/или объектов. Следует иметь в виду, что некоторые объекты данной технологии, полученные в результате попыток достичь вышеупомянутой цели, могут удовлетворять и другим целям, отдельно не указанным здесь.

Дополнительные и/или альтернативные варианты осуществления настоящей технологии станут очевидными из последующего описания, прилагаемых чертежей и прилагаемой формулы изобретения.

Краткое описание чертежей

Для лучшего понимания настоящей технологии, а также других его аспектов и характеристик сделана ссылка на следующее описание, которое должно использоваться в сочетании с прилагаемыми чертежами, где:

На фиг. 1 показан первый вид электронного устройства 102 в перспективе, которое является в данном варианте осуществления технологией Apple iPhone 5s.

На фиг. 2 показан второй вид электронного устройства 102 в перспективе, которое является в данном варианте осуществления технологией Apple iPhone 5s.

На фиг. 3 показана схематическая диаграмма электронного устройства 102.

На фиг. 4-14 показано электронное устройство 102 на протяжении следующих друг за другом этапов выполнения способа, реализуемого компьютером, выполненного в соответствии с вариантами осуществления настоящей технологии.

На фиг. 15-16 показана схематическая диаграмма процесса распознавания текста, который осуществляется во время выполнения способа, реализуемого компьютером, выполненного в соответствии с вариантами осуществления настоящей технологии.

Осуществление изобретения

На фиг. 1 показан первый вид электронного устройства 102 в перспективе, являющийся в данном варианте осуществления Apple iPhone 5s. В других вариантах осуществления электронное устройство 102 может быть другим типом электронного устройства. В различных вариантах осуществления электронное устройство 102 может быть реализовано в таких устройствах, как Samsung Galaxy S5 Smartphone, Apple iPhone 5c 32GB, Asus 10.1″ 32GB Transformer Book T100 Windows 8.1 Tablet With Wi-Fi, Samsung Galaxy Tab 3 8.0 16GB Android 4.2 Tablet с процессором Exynos 4212, HP Envy 17″ TouchSmart ноутбук - Intel Core i7 4700M / 1TB HDD/16GB RAM, работающих на операционной системе Windows 8.1. Независимо от типа, электронное устройство 102 содержит встроенную или внешнюю камеру.

Более конкретно, на фиг. 1 показан вид спереди в перспективе электронного устройства Apple iPhone 5s. В качестве примера, который не имеет ограничительного характера, электронное устройство 102 может быть ноутбуком или настольным компьютером.

В данном варианте осуществления, как показано на фиг. 1, электронное устройство 102 содержит экран мультитач 104. В качестве примера представлен экран мультитач 104 с диагональю 1044 дюйма, Retina дисплеем с разрешением 1136 на 640 пикселей и с плотностью 326 пикселей на дюйм.

Экран мультитач 104 используется для отображения информации, которая содержит в себе отображение графического интерфейса пользователя. Помимо прочего, экран мультитач 104 отображает изображения, которые захвачены с помощью электронного устройства 102 при использовании камеры FaceTime 106 или же камеры iSight 110.

Экран мультитач 104 может отображать различные версии изображений. В примере, который не имеет ограничительного характера, а также в вариантах осуществления настоящей технологии, экран мультитач 104 отображает размытую версию изображения, которая показана на фиг. 4. Изображение может быть размыто с помощью электронного устройства 102, используя любой стандартный способ, например с помощью функции Гаусса.

Тем не менее, экран мультитач 104 может альтернативно отображать другие версии изображений, например, такие как черно-белые версии.

Экран мультитач 104 также используется для получения ввода данных пользователем.

Экран мультитач 104 на фиг. 5-6 обеспечивает возможность одновременно использовать два или более пальца на экране дисплея. Экран мультитач 104 обеспечивает возможность применения стягивающего и растягивающего жестов на экране для того, чтобы осуществить изменение масштаба. Например, стягивающий и растягивающий жесты на экране дисплея используются для перемещения и изменения масштаба изображения, а также для выбора части изображения посредством скольжения по экрану (свайпа) или же путем осуществления других жестов.

Электронное устройство 102 дополнительно содержит упомянутую выше FaceTime камеру 106. FaceTime камера 106 захватывает фотографии размером 1,2 МП (1280 на 960 пикселей), а также записывает HD-видео в качестве 720р. FaceTime камера 106 является частью модуля камеры 210, показанного на фиг. 3, который соединен с процессором 202. FaceTime камера 106 также используется для захвата изображений. В качестве примера, который не имеет ограничительного характера, FaceTime камера 106 также используется для захвата изображений, которые содержат текст. Изображения сохраняются в цифровом формате на одном или более машиночитаемых носителях информации, которые являются частью модуля памяти 204, как показано на Фиг. 3.

Электронное устройство 102 дополнительно содержит клавишу «домой»/дактилоскопический сенсор Touch ID 108, которые являются частью модуля ввода-вывода 206, как показано на фиг. 3. Клавиша «домой»/дактилоскопический сенсор Touch ID 108 также используется для получения ввода пользователем.

На фиг. 2 показана вторая часть электронного устройства 102. Более подробно, фиг. 2 иллюстрирует вид Apple iPhone 5s в перспективе сзади.

В одном из вариантов осуществления электронное устройство 102, которое показано на фиг. 2, также содержит вышеупомянутую iSight камеру 110. iSight камера 110 представляет собой 8-мегапиксельную камеру с линейным размером пикселя 1,5 мкм и диафрагмой f/2,2. iSight камера 110 содержит объектив с покрытием из сапфирового стекла, вспышку из двух светодиодов true tone, сенсор Backside Illumination, пятиэлементную линзу, гибридный ИК-фильтр, имеет автоматическую фокусировку, фокусировку касанием, режим распознавания лиц на фотографии Face Detection, режим панорамной съемки, автоматическую стабилизацию изображения, режим скоростной серийной съемки Burst Mode, функцию привязки фотографий к месту съемки Geo-tagging.

iSight камера 110 является частью модуля камеры 210, проиллюстрированного на фиг. 3, который соединен с процессором 202, как показано на фиг. 3. iSight камера 110 также используется для захвата изображений. В качестве примера, который не имеет ограничительного характера, iSight камера 110 также используется для захвата изображений, которые содержат текст. Изображения сохраняются в цифровом формате на одном или более носителей информации, которые являются частью модуля памяти 204, как показано на фиг. 3.

На Фиг. 3 показана схематическая диаграмма 200 электронного устройства 102. Электронное устройство 102 содержит процессор 202. В конкретном варианте осуществления технологии процессор 202 содержит один или более процессор и/или один или более микроконтроллер, которые выполнены с возможностью обработки команд и проведения действий, связанных с работой электронного устройства 102. В различных осуществления процессор 202 может быть реализован как однокристальный, многокристальный, и/или в виде других электротехнических компонентов, которые содержат в себе одну или более интегральных микросхем, а также печатные платы. Процессор 202 необязательно содержит в себе блок кэш-памяти (не показано) для временного локального хранения команд, данных или же компьютерных адресов. В качестве примера, процессор 202 состоит из одного или более процессоров, или же одного или более контроллеров, которые предназначены для выполнения определенных задач электронного устройства 102 или же одного многофункционального процессора или контроллера.

Процессор 202 функционально связан с модулем памяти 204. Модуль памяти 204 содержит один или более носителей информации и, как правило, обеспечивает место для хранения машинного кода (к примеру, программного обеспечения и/или встроенного программного обеспечения), или же данных пользователя (к примеру, фотографий, текстовых данных, индексов и т.д.) В качестве примера модуль памяти 204 содержит различные варианты материальных машиночитаемых носителей информации, включающих в себя постоянную память (ROM) и/или оперативную память (RAM). Как хорошо известно специалистам в данной области, постоянная память ROM передает данные и команды процессору 202 только в одном направлении, а оперативная память RAM используется, как правило, для двусторонней передачи данных и команд. Модуль памяти 204 также может включать в себя одно или более стационарное запоминающее устройство, в качестве примера, такие как жесткие диски (HDDs), твердотельные накопители (SSDs), карты флэш-памяти (к примеру, Secured Digital или карты SD, встроенные MultiMediaCard или же карты eMMD), помимо других соответствующих форм памяти, соединенных двусторонней передачей с процессором 202. Информация находится на одном или более съемном носителе информации, загруженном или установленном в электронное устройство 102, когда это является необходимым. В качестве примера, любое количество подходящих карт памяти может быть установлено в электронное устройство 102 на постоянной или временной основе.

Модуль памяти 204 хранит, в частности, ряд машиночитаемых команд, которые при выполнении обрабатываются с помощью процессора 202 (а также других компонентов устройства 102) для того, чтобы выполнить различные варианты действий, описанных в настоящем документе.

Электронное устройство 102 дополнительно содержит модуль ввода-вывода 206. Модуль ввода-вывода 206, состоит из одного или более устройства ввода-вывода, функционально соединенного с процессором 202.

В качестве примера, в одном из вариантов осуществления электронного устройства 102, как показано на фиг. 2, модуль ввода-вывода 206 электронного устройства 102 содержит экран мультитач 104, являющийся в данном варианте осуществления технологии экраном Retina с диагональю 1044 дюйма и разрешением 1136 на 640 пикселей, плотностью 326 пикселей на дюйм, а также клавишей «домой»/дактилоскопическим сенсором Touch ID 108.

В других вариантах осуществления настоящей технологии модуль ввода-вывода 206 может дополнительно или альтернативно содержать клавиатуру, манипулятор мышь, одну или более клавиш, колесо прокрутки, и/или экран дисплея (к примеру, жидкокристаллический экран дисплея (LCD), светоизлучающий диод (LED), интерферометрический модулятор дисплея (IMOD), или любое другое подходящее устройство отображения). В большинстве случаев устройства ввода сконфигурированы таким образом, чтобы осуществлять передачу данных, команд и откликов из внешнего мира в электронное устройство 102. Экран дисплея в большинстве случаев сконфигурирован таким образом, чтобы отображать графический интерфейс пользователя (GUI), который представляет простой в использовании визуальный интерфейс между пользователем и электронным устройством 102, а также управление системой или приложением(-ями), запущенным на электронном устройстве 102. В большинстве случаев графический интерфейс пользователя GUI представляет собой программы, файлы, а также варианты операционных действий с графическими изображениями. Во время работы пользователь может выбирать и активировать различные графические изображения, выведенные на экран дисплея для того, чтобы инициировать функции и действия, связанные с ними. Модуль ввода-вывода 206 также содержит устройства на основе сенсорного ввода, такие как сенсорная панель и тачскрин. Сенсорная панель представляет собой устройство ввода, состоящее из поверхности, которая определяет касания пользователя. Аналогичным образом тачскрин определяет наличие и месторасположение касаний пользователя. Модуль ввода-вывода 206 может также содержать экраны двойного касания, экраны мультитач или же сенсорные панели, которые определяют наличие, месторасположение и перемещение касаний пользователя.

В данном варианте осуществления технологии электронного устройства 102, модуль ввода-вывода 206 содержит экран мультитач 104.

В данном варианте осуществления технологии электронное устройство 102 дополнительно содержит аудиомодуль 208, модуль камеры 210, модуль беспроводной связи 212, сенсорный модуль 214 и/или модуль проводной связи 216, которые функционально соединены с процессором 202 и облегчают различные действия электронного устройства 102. Модуль камеры 210 может состоять из одной или более камер. В одном из вариантов осуществления настоящей технологии модуль камеры 210 состоит из камеры FaceTime 106 и камеры iSight 110.

Модуль камеры 210 содержит оптический датчик (к примеру, полупроводниковая светочувствительная матрица (CCD) или комплементарный металло-оксидный полупроводник (CMOS) датчика изображения), которые используются для облегчения выполнения функций камеры FaceTime 106 или камеры iSight 110, таких как запись фотографий и видеороликов.

Модуль проводной связи 216 содержит порт универсальной последовательной проводной шины (USB) или же порт Ethernet, который служит для подключения к локальной сети (LAN). Дополнительно, электронное устройство 102 питается от модуля источника питания 218, который выполнен в виде аккумуляторной перезаряжаемой батареи.

Модуль беспроводной связи 212 предназначен для работы в одной или более беспроводных сетей, например, таких как персональная беспроводная сеть (WPAN) (такая как, к примеру, технология беспроводного обмена данными между разнообразными устройствами BLUETOOTH WPAN, инфракрасная персональная сеть PAN), сеть WI-FI, (такая как, к примеру, сеть WI-FI 802.11a/b/g/n или же 802.11s Wireless Mesh Network) телекоммуникационная сеть WiMAX, сотовая телефонная сеть (такая как, к примеру, глобальная система цифровой мобильной сотовой связи (GSM) или же цифровая технология беспроводной передачи данных для мобильной связи (EDGE), универсальная мобильная телекоммуникационная система (UMTS), и/или сеть Long Term Evolution (LTE). Дополнительно, модуль беспроводной связи 212 осуществляет хостинг протоколов, в результате чего электронное устройство 102 сконфигурировано таким образом, чтобы служить базовой станцией для других беспроводных устройств.

Сенсорный модуль 214 содержит одно или более сенсорное устройство для обеспечения дополнительного ввода и облегчения множественной функциональности электронного устройства 102.

В данном варианте осуществления технологии различные компоненты электронного устройства 102 функционально соединены друг с другом при помощи одной или более шин (содержащих аппаратные средства и/или программное обеспечение). В качестве примера, но не ограничиваясь этим, одна или более шин могут содержать быстродействующий графический порт (AGP) или же другую графическую шину, такую как улучшенная архитектура шины промышленного стандарта (EISA), внешняя шина (FSB), гипертранспортная шина (НТ), стандартная промышленная архитектура (ISA), шина INFINIBAND, шина с низким числом контактов (LPC), шина памяти, микроканальная архитектура стандарта (МСА), разъем взаимодействия периферийных компонентов (PCI), последовательный интерфейс периферии PCI Express (PCI-X), интерфейс (SATA), локальная шина стандарта VESA (VLB), универсальный асинхронный приемо-передатчик (UART), шина межсоединений интегральных схем (I2C), последовательный синхронный периферийный интерфейс (SPI), интерфейс памяти Secure Digital (SD), интерфейс памяти MultiMediaCard (ММС), интерфейс памяти Memory Stick (MS), интерфейс Secure Digital Input Output (SDIO), шина Multi-channel Buffered Serial Port (McBSP), универсальная последовательная проводная шина (USB), интерфейс General Purpose Memory Controller (GPMC), контроллер SDRAM (SDRC), универсальная шина ввода-вывода (GPIO), шина Separate Video (S-Video), шина Display Serial Interface (DSI), расширенная шинная архитектура для микроконтроллеров (АМВА), а также другая подходящая шина или же их сочетание в двух или более вариантах.

От фиг. 4 до фиг. 14 показано электронное устройство 102 на протяжении следующих друг за другом этапов выполнения способа, реализованного на компьютере в соответствии с вариантами осуществления настоящей технологии, не имеющими ограничительного характера, который выполняется на электронном устройстве 102.

На фиг. 4 показано электронное устройство 102 во время его использования пользователем. Электронное устройство 102 находится в руке у пользователя, который осуществляет процесс захвата изображения визитной карточки с помощью камеры iSight 110.

В данном варианте осуществления технологии захват изображения осуществляется посредством использования камеры iSight 110. Тем не менее, в альтернативных вариантах осуществления технологии изображение может быть захвачено любой стандартной встроенной или внешней цифровой камерой. В других вариантах осуществления технологии изображение не обязательно должно быть захвачено с помощью камеры, встроенной или подключенной к электронному устройству 102. Вместо этого, до вывода изображения на экран дисплея, изображение может быть загружено из сети Интернет, получено путем сканирования на сканере или же получено из любого другого источника.

Захваченное изображение сохраняется в любом цифровом формате. Например, изображение может быть сохранено в формате JPG, GIF, TIF, а также других цифровых форматах.

В данном варианте осуществления технологии способ включает в себя сохранение изображения в цифровом формате на носителе информации, который является частью модуля памяти 204, показанного на фиг. 3.

Способ включает в себя вывод изображения на экран дисплея.

В данном варианте осуществления технологии способ дополнительно включает в себя вывод изображения на экран дисплея, как показано на фиг. 4, при этом экран дисплея является экраном мультитач 104, проиллюстрированным на фиг. 1.

Как показано на фиг. 4, захваченное изображение содержит визитную карточку, а также часть руки пользователя. Часть руки пользователя не относится к части захваченного изображения, а также не имеет никакого отношения к тому, что пользователь намеревается захватить.

Как показано на фиг. 4, изображение, которое отображено на экране мультитач 104, является размытой версией изображения. Изображение может быть размыто с помощью электронного устройства 102 с использованием любого стандартного способ, например с помощью функции Гаусса.

В других вариантах осуществления настоящей технологии может быть отображена любая другая версия изображения: черно-белая версия изображения, цветная версия изображения, а также другие версии.

Изображение содержит в себе текст, как это показано на фиг. 4. В качестве примера, который не имеет ограничительного характера, текст может содержать буквы, цифры, специальные символы, а также их комбинации. Если изображение не содержит текста, то это является завершением осуществления способа.

Возможно использование латинского шрифта, кириллического шрифта, а также других. Возможно использование римских, арабских, а также других цифр.

Изображение может содержать другие объекты, помимо текста. К примеру, как показано на фиг. 4, изображение содержит фрагмент руки пользователя и окантовку визитной карточки.

Дополнительно способ включает в себя выбор пользователем по меньшей мере части текста, который должен быть распознан. Таким образом, при выборе пользователем по меньшей мере части текста он выбирает ту часть текста, которую желает получить распознанной.

На фиг. 5, 6, 7, 8 показан процесс выбора пользователем по меньшей мере части текста, содержащегося в захваченном изображении.

Выбор пользователя представляет собой выбор части изображения. Данная выбранная часть изображения будет называться первой частью изображения.

Для выбора первой части изображения, как это показано на фиг. 5, пользователю будет необходимо изменить масштаб изображения. К примеру, пользователь может перемещать, а также перетаскивать изображение посредством касаний экрана мультитач 104 для увеличения части изображения по своему усмотрению.

Затем, как показано на фиг. 6, пользователю будет необходимо изменить масштаб изображения для увеличения и более комфортного просмотра изображения на экране дисплея, а также для облегчения дальнейшего выбора части изображения. Пользователь прикасается двумя пальцами к экрану мультитач 104, отображающему изображение, а затем двигает пальцами в направлении друг от друга, как будто растягивая их в стороны (или же наоборот, если пользователю необходимо уменьшить изображение).

На фиг. 7 и 8 показано продолжение действия касания, которое выполнено пользователем на экране дисплея.

Действие касания, выполненное пользователем, проиллюстрированное на фиг. 7 и 8, осуществляет скольжение по экрану (свайп) размытой версии изображения, которая соответствует первой части изображения. Путем касательного действия пользователь выбирает область, содержащую текст, в которой желает осуществить распознавание текста. При этом пользователь может неточно выбрать ту часть текста, которую желает распознать. Одной из причин неточности может являться чрезмерное увеличение, как это показано на фиг. 7 и 8, где часть текста на визитной карточке не отображается в полном объеме.

После того как пользователь осуществил скольжение по экрану (свайп), часть размытой версии изображения, соответствующая первой части изображения, становится неразмытой. Изменение части изображения отображает выбор пользователя. Отображение позволяет пользователю понять, продолжает ли он процесс выбора, или он уже выбрал часть изображения, которую желает распознать.

В других вариантах осуществления настоящей технологии, в тех случаях, когда изображение отображается пользователю в черно-белой версии изображения, действие касания, которое выполнено пользователем на экране дисплея, осуществляет свайп части черно-белой версии изображения, соответствующей первой части изображения. В данном варианте осуществления технологии часть черно-белой версии изображения, соответствующая первой части изображения, преобразована в цветную версию изображения после осуществления свайпа.

В других вариантах осуществления настоящей технологии действие касания, которое выполнено пользователем на экране дисплея, осуществляет свайп части изображения, соответствующей первой части изображения. В данном варианте осуществления технологии часть изображения, которая соответствует первой части изображения, становится выделенной после осуществления свайпа. Изменение цвета отображает выбор пользователя. Отображение позволяет пользователю понять, продолжает ли он процесс выбора, или он уже выбрал часть изображения, которую желает распознать.

В некоторых вариантах осуществления настоящей технологии до и после свайпа, первая часть изображения может иметь и другие отличительные особенности, кроме таких, как размытая и неразмытая версия, черно-белая, а также цветная версия.

В других вариантах осуществления технологии выбор пользователем первой части изображения осуществляется любым стандартным способом, например при помощи координатного манипулятора, такого как «мышь». Выбор пользователем первой части изображения может осуществляться любым стандартным способом, зависящим от способа выбора.

На фиг. 9 показан фрагмент размытой версии изображения, который отображен на экране мультитач 104.

Часть размытой версии изображения, соответствующая первой части изображения, больше не является размытой. Первая часть изображения включает в себя большую часть текста визитной карточки. Тем не менее, часть адреса электронной почты не выбрана пользователем. Более конкретно - не выбраны буквы «mpany.com». Вследствие этого, изображение содержит выбранный и невыбранный текст, при этом невыбранным текстом является любой текст, содержащийся в изображении и не являющийся частью (намеренно или нет) выбора пользователем выбранного текста.

В вариантах осуществления технологии часть изображения, содержащая невыбранную часть текста, которая потенциально связана с выбранной частью текста, рассматривается в качестве «второй части изображения». В связи с этим указывается, что выбранная часть текста является частью первой части изображения, а невыбранная часть текста является частью второй части изображения.

В представленных вариантах осуществления технологии вторая часть изображения непосредственно примыкает к первой части изображения. Тем не менее, это не является необходимым в каждом варианте осуществления настоящей технологии. Таким образом, первая часть изображения и вторая часть изображения могут быть расположены на расстоянии друг от друга в пределах изображения.

В рамках примера, буквы «mpany.com» рассматриваются в качестве первой невыбранной части текста, а комбинация букв и специальных символов «john.smith@co» рассматривается в качестве первой выбранной части текста. Разумеется, обе выбранные части текста, а также невыбранные части текста, могут быть разделены на множество соответственно выбранных частей текста и невыбранных частей текста, как будет описано в настоящем документе ниже.

Затем пользователь нажимает меняющуюся кнопку «распознать» 602 для осуществления распознавания текста. Затем начинается процесс распознавания текста.

На фиг. 10, 11, 12 показан экран мультитач 104 после начала процесса распознавания текста. Светящаяся линия 702 двигается от левой стороны экрана мультитач 104 к правой стороне экрана мультитач 104, имитируя при этом светящуюся линию копировального аппарата. То, как представлен экран мультитач 104 во время процесса распознавания текста, не имеет значения для настоящей технологии. Фиг. 10, 11, 12 носят всего лишь иллюстративный характер, и в альтернативных вариантах осуществления технологии экран мультитач 104 не обеспечивает визуальную индикацию процесса распознавания текста.

В данном контексте, «распознавание текста» предназначается для обозначения распознавания текста в широком смысле. Соответственно, распознавание текста осуществляется путем использования библиотеки OCR, которая состоит из двух частей. Первая часть библиотеки предназначена для осуществления первого этапа, а именно этапа обнаружения текста. Вторая часть библиотеки предназначена для осуществления второго этапа, а именно распознавания обнаруженного текста, в узком смысле этого слова. Алгоритм обнаружения формирует предположения о том, где именно расположены буквы слов, а далее формирует из них слова. Аналогичным способом, алгоритм обнаружения формирует предположения, где именно расположены буквы, цифры, иероглифы, специальные символы и т.д., а затем объединяет их в слова, телефонные номера, адреса электронной почты и так далее. Разумеется, также может быть использован любой другой алгоритм распознавания текста.

После осуществления распознавания текста начинается этап определения логического продолжения или логического расширения невыбранной части текста по отношению к выбранной части текста.

Логическое продолжение имеет место в тех случаях, когда выбранная часть текста содержит фрагмент слова, фрагмент электронного адреса, фрагмент телефонного номера, фрагмент имени собственного и так далее, а невыбранная часть текста содержит вторую часть слова или электронного адреса, или телефонного номера, или имени собственного и так далее. Другими словами, в рамках определения логического продолжения, электронное устройство 102 определяет, существует ли невыбранная часть текста, которая не является частью выбранной части текста, такая невыбранная часть текста, которая формирует логическое продолжение части выбранного текста.

Логическое расширение имеет место в тех случаях, когда выбранная часть текста включает в себя фрагмент имени, фрагмент адреса, фрагмент контактных данных и так далее, а невыбранная часть текста включает в себя недостающий фрагмент имени, фрагмент адреса, фрагмент контактных данных и так далее. Другими словами, в рамках определения логического продолжения, электронное устройство 102 определяет, существует ли невыбранная часть текста, которая не является частью выбранной части текста, такая невыбранная часть текста, которая формирует логическое расширение части выбранного текста.

В некоторых вариантах осуществления настоящей технологии способ дополнительно включает в себя выбор невыбранной части текста на основе невыбранной части текста, являющейся логическим расширением выбранной части текста.

Затем, к примеру, если выбранная часть текста, расположенная в первой части изображения, содержит текст «john.smith@», который выбран пользователем, то непосредственно следующий за ним текст «gmail.com» будет являться логическим продолжением выбранной части текста. Текст «gmail.com», являющийся вторым фрагментом электронного адреса, в этом случае представляет собой невыбранную часть текста, расположенную во второй части изображения, не выбранной пользователем. Фрагменты адреса электронной почты не являются единственно возможными расширениями выбранной части текста. Возможно множество других расширений, к примеру, фрагменты слов, телефонные номера, и так далее.

В некоторых вариантах осуществления настоящей технологии способ дополнительно включает в себя выбор невыбранной части текста, на основе невыбранной части текста, являющейся логическим расширением выбранной части текста.

Затем, к примеру, если первая часть текста, расположенная в первой части изображения, содержит текст «John Smith, tel. (514) 123-4567», который выбран пользователем, то непосредственно следующий за ним текст «Е-mail: john.smith@gmail.com» будет являться логическим расширением первой части текста. Текст «Е-mail: john.smith@gmail.com», будучи частью контактных данных лица, является в данном случае второй частью текста, расположенной во второй части изображения, которая не выбрана пользователем. Фрагменты контактных данных не являются единственно возможными расширениями первой части текста. Возможно множество других расширений, например, наименования должностей могут быть расширениями имен, имена улиц и городов могут быть расширениями почтовых индексов; время может быть расширением даты (например, «2 мая, 2014 в 4:41 после полудня).

В некоторых вариантах осуществления настоящей технологии выбранная часть текста состоит из первой выбранной части текста и второй выбранной части текста, невыбранная часть текста состоит из первой невыбранной части текста и второй невыбранной части текста, и способ дополнительно включает в себя выбор первой невыбранной части текста на основе первой невыбранной части текста, являющейся одним из логических продолжений и логических расширений по меньшей мере одной из первой выбранной части текста и второй выбранной части текста, и выбор второй невыбранной части текста на основе второй невыбранной части текста, являющейся одним из логических продолжений и логических расширений по меньшей мере одной из первой выбранной части текста и второй выбранной части текста. Разумеется, любое из данных изображений может иметь множество выбранных и невыбранных частей текста. Таким образом, те или иные невыбранные части текста могут быть выбраны на основе логического расширения или логического продолжения (или, предположительно, обоих) по меньшей мере одной из выбранных частей текста. Таким образом, стало ясно, что варианты осуществления настоящей технологии предусмотрены для электронного устройства 102 для того, чтобы заполнить любые пробелы и неточности в выбранной пользователем части текста.

Для примера, это может быть осуществлено в ситуации, когда пользователь выбрал контактные данные лица, но по ошибке не выбрал последние цифры телефонного номера и последние буквы адреса электронной почты. Последние цифры телефонного номера в данном случае являются первой невыбранной частью текста, а последние буквы адреса электронной почты являются второй невыбранной частью текста. Соответственно, первые цифры телефонного номера в данном случае являются первой частью выбранного текста, а первые буквы, точки и знак «@» адреса электронной почты являются второй частью выбранного текста.

Часть распознанного элемента текста не всегда является частью выбранной или невыбранной части текста. Во многих случаях часть распознанного элемента текста не строго совпадает с выбранной или невыбранной частью текста. Часть распознанного элемента текста может представлять собой сочетание выбранной и невыбранной части текста (или их частей) вместе. В других примерах часть распознанного элемента текста также содержит только одну часть текста: выбранную часть текста или невыбранную часть текста; в таком случае часть распознанного элемента текста может совпадать с соответствующей выбранной или невыбранной частью текста, или же быть их частью.

В других примерах некоторые части распознанного элемента текста содержат в себе одно из следующего: выбранную часть текста или невыбранную часть текста, в то время как другие части распознанного элемента текста содержат сочетание выбранной и невыбранной частей текста вместе.

Некоторые части распознанного элемента текста содержат всю выбранную часть текста или всю невыбранную часть текста, а также часть другой части текста.

Другими словами, части распознанного элемента текста могут содержать любую возможную комбинацию из выбранной и невыбранной части текста, или же их частей.

Обнаружение частей распознанных элементов текста выполняется при помощи по меньшей мере одного из логического продолжения и логического расширения невыбранной части текста по отношению к выбранной части текста. Таким образом, в некоторых вариантах осуществления настоящей технологии способ дополнительно включает в себя распознавание всего текста, содержащегося в изображении, а затем определение во всем распознанном тексте возможного содержания невыбранной части текста, которая является одним из логических продолжений или логических расширений выбранной части текста.

В некоторых вариантах осуществления настоящей технологии способ дополнительно включает в себя определение категории по меньшей мере части распознанного элемента текста. Часть распознанного элемента текста может быть классифицирована в любую логическую единицу, такую как, но не ограничиваясь этим: имя, адрес электронной почты, адрес, реквизиты банковского счета и так далее. Разумеется, часть распознанного текста классифицируется на вложенные категории. К примеру, данная логическая единица является подъединицей более крупной логической единицы. Вполне понятно, что телефонный номер, будучи сам по себе логической единицей, является подъединицей адреса, являющегося более крупной логической единицей.

Не с целью ограничения, а скорее с целью иллюстрации, категорией по меньшей мере части распознанного элемента текста может быть адрес, контактные данные, месторасположение, время, событие, билет, записка, простой текст или же комбинация из двух и более из них, а также любая другая часть распознанного элемента текста, имеющая существенную отличительную часть.

Для лучшего понимания, некоторые варианты осуществления процесса распознавания далее будут описаны согласно фиг. 15 и 16. На фиг. 15 и 16 показана схематическая диаграмма процесса распознавания текста, которая осуществляется во время выполнения способа, реализуемого на компьютере в соответствии с вариантом осуществления настоящей технологии. С целью пояснения данной иллюстрации, следует предположить, что пользователь электронного устройства 102 ID намерен осуществить захват изображения части литературного произведения для получения содержащейся в ней части текста и последующего программного распознавания текста. Разумеется, сценарий в настоящем документе представлен только с целью иллюстрации и не должен ограничивать объем настоящей технологии.

При выполнении этапа 1002, пользователь захватывает изображение 1004, используя iSight камеру 110. Экран дисплея, являющийся в данном варианте осуществления технологии экраном мультитач 104, отображает изображение 1004. Изображение 1004 в данном варианте осуществления технологии является черно-белой версией отображения захваченного изображения 1004.

При выполнении этапа 1006 пользователь выбирает первую часть изображения 1008 при помощи действия касания, которое выполнено пользователем на экране мультитач 104. В иллюстрированном варианте осуществления технологии касательное действие осуществляет свайп первой части 1008 черно-белой версии изображения 1004, при этом первая часть 1008 отображает текст, который пользователь намеревается распознать. В данном варианте осуществления технологии часть изображения, которая соответствует первой части 1008 изображения, становится выделенной после осуществления свайпа.

При выполнении этапа 1010 после того, как пользователь прикоснулся на экране дисплея к меняющейся кнопке «далее» (действие не показано на фиг. 15-16), изображение 1004 и первая часть изображения 1008 отправляются в распознаватель текста 1012. Функция распознавателя текста 1012 выполняется с помощью процессора 202.

При выполнении этапа 1006 распознаватель текста 1012, изображенный на фиг. 16, накладывает изображение 1004 на первую часть изображения 1008 для предотвращения появления недостающих текстовых элементов, представляющих собой часть текста, которая с большой вероятностью может быть пропущена пользователем при выборе части изображения и которую пользователь желает преобразовать в текст. В некоторых вариантах осуществления настоящей технологии распознаватель текста 1012 выполняет программное распознавание всего текста, содержащегося в изображении, включая часть текста, выбранную пользователем.

Затем, при выполнении этапа 1014, распознаватель текста осуществляет вывод 1016, являющийся изображением всего распознанного текста, содержащегося в изображении, включающий в себя изображение распознанной выбранной части текста. Дополнительно вывод 1016 используется для выбора невыбранной части текста, на основе невыбранной части текста, являющегося логическим расширением и логическим продолжением выбранной части текста.

На фиг. 13 показан экран мультитач 104 в процессе определения категории и сохранения в память устройства по меньшей мере части распознанного элемента текста. То, как именно экран мультитач 104 представлен во время этих процессов, не имеет значения для настоящей технологии. Фиг. 13 предназначена только для иллюстративных целей.

На фиг. 14 показан экран мультитач 104 электронного устройства 102 после завершения процесса обнаружения и определения категории по меньшей мере части распознанного элемента текста.

Как было описано выше, в некоторых вариантах осуществления настоящей технологии способ включает в себя отображение по меньшей мере части распознанного элемента текста. В некоторых вариантах осуществления технологии по меньшей мере часть распознанного элемента текста показана пользователю в сочетании с категорией, закрепленной за по меньшей мере частью распознанного элемента текста. Каждая часть распознанного элемента текста отображается в соответствии с присвоенной категорией. На фиг. 14 показаны части распознанного элемента текста, которые отображены на экране мультитач 104.

В данном варианте осуществления технологии, перед отображением на экране мультитач 104, были обнаружены и классифицированы следующие части распознанного элемента текста: имя «John Smith», наименование должности «Director product management)), наименование компании «12345 Canada lnc.», телефонный номер «+1 (514) 123-4567», и адрес электронной почты «john.smith@companyname.com».

На фиг. 14, отображены следующие части распознанного элемента текста: имя 902 «John Smith», наименование должности 904 «Director product management)), наименование компании 906 «12345 Canada lnc.», телефонный номер 908 «+1 (514) 123-4567» в сочетании с символом четвертой категории 910, а также адрес электронной почты 912 «john.smith@companyname.com» в сочетании с символом пятой категории 914. В этом примере первой категорией являются имена; второй категорией являются наименования должностей; третьей категорией являются наименования компаний; четвертой категорией являются телефонные номера; пятой категорией являются адреса электронной почты.

В то время как символ четвертой категории 910 и символ пятой категории 914 отображены только в этом примере, в других вариантах осуществления технологии отображаются другие категории, или не отображается ни одна из категорий, или же отображены все обнаруженные категории.

В некоторых вариантах осуществления настоящей технологии способ дополнительно включает в себя отображение совета по выполнению действия относительно по меньшей мере части распознанного элемента текста. К примеру, способ может отображать пользователю предложение для сохранения, редактирования или же удаления по меньшей мере части распознанного элемента текста.

В некоторых вариантах осуществления настоящей технологии, предложение по выполнению действия в отношении по меньшей мере части распознанного элемента текста зависит от категории по меньшей мере части распознанного элемента текста.

К примеру, предложение по созданию маршрута к месту назначения отображается для по меньшей мере части распознанного элемента текста, категория которого была определена как «месторасположение»; предложение по выполнению телефонного вызова отображается для по меньшей мере части распознанного элемента текста, категория которого была определена как «телефонный номер». Также возможны другие предложения для этой и других категорий.

Для примера, как это показано на фиг. 14, следующие предложения по выполнению действий в отношении по меньшей мере части распознанного элемента текста отображаются как: предложение оставить распознанный текст как обычный текст 916, или предложение по созданию тэгов 918. Эти предложения не являются специфичными для конкретной категории по меньшей мере части распознанного элемента текста. Тем не менее, в других вариантах осуществления технологии, предложение по выполнению действия в отношении по меньшей мере части распознанного элемента текста зависит от категории по меньшей мере части распознанного элемента текста. К примеру, может быть сделано предложение по выполнению вызова на распознанный телефонный номер.

В некоторых вариантах осуществления настоящей технологии способ дополнительно включает в себя выполнение действия в отношении по меньшей мере части распознанного элемента текста. Таким может быть любое действие, которое необходимо или будет полезным в тех случаях, когда не требуется подтверждение пользователя. К примеру, это может быть автоматическое сохранение изображения целиком, или же его части. Решение, является ли необходимым подтверждение пользователя или же нет, принимается пользователем в настройках электронного устройства. Тем не менее, некоторые действия могут быть заранее запрограммированы как действия, которые выполняются без подтверждения пользователя.

В некоторых вариантах осуществления настоящей технологии выполнение действия осуществляется в ответ на подтверждение пользователя выполнять действия в отношении по меньшей мере к части распознанного элемента текста.

В некоторых вариантах осуществления настоящей технологии выполнение действия в отношении по меньшей мере части распознанного элемента текста включает в себя по меньшей мере одно из следующих действий: ввод по меньшей мере части распознанного элемента текста в календарь или ввод по меньшей мере части распознанного элемента текста в базу данных с информацией о контактах или просмотр адреса на карте, а также создание маршрута к месту назначения и сохранение по меньшей мере части распознанного элемента текста в памяти устройства. Также возможны другие действия. Также возможно выполнение двух или более действий в отношении по меньшей мере части распознанного элемента текста.

В некоторых вариантах осуществления настоящей технологии способ дополнительно включает в себя сохранение первой и второй частей изображения по отдельности в соответствии с распознанным элементом текста. Сохранение может быть выполнено любым стандартным способом. Сохранение может быть выполнено на электронном устройстве 102 или на удаленном устройстве (не показано).

В некоторых вариантах осуществления настоящей технологии способ дополнительно включает в себя сохранение первой и второй части изображения вместе, в соответствии с распознанным элементом текста. Сохранение может быть выполнено любым стандартным способом. Сохранение может быть выполнено на электронном устройстве 102 или на удаленном устройстве (не показано).

В некоторых вариантах осуществления настоящей технологии способ дополнительно включает в себя индексирование распознанного элемента текста или изображения, или же первой и второй части изображения, или по меньшей мере части распознанного элемента текста, или их различных комбинаций, или же всех их с последующим сохранением полученного индекса. Индексирование может быть выполнено любым стандартным способом. Сохранение полученного индекса может быть осуществлено на электронном устройстве или же на удаленном устройстве.

Модификации и улучшения вышеописанных вариантов осуществления настоящей технологии будут ясны специалистам в данной области техники. Описание, которое представлено выше, приведено в качестве примера, а не в качестве ограничения. В связи с этим объем настоящей технологии ограничен только объемом прилагаемой формулы изобретения.

1. Способ обработки визуального объекта, выполняемый на электронном устройстве, которое имеет экран дисплея, способ включает в себя:
вывод изображения на экран дисплея;
выбор пользователем первой части изображения;
распознавание текста в пределах выбранной части текста и невыбранной части текста, расположенной на второй части изображения, отличающейся от первой части изображения, для отображения распознанной части текста при выборе пользователем первой части изображения, содержащей выбранную текстовую часть; причем осуществляют определение по меньшей мере одного из логических продолжений и логических расширений невыбранной части текста по отношению к выбранной части текста.

2. Способ по п. 1, в котором электронное устройство содержит камеру и в котором дополнительно выполняют захват изображения с помощью камеры перед выводом изображения на экран дисплея.

3. Способ по любому из пп. 1 или 2, в котором вывод изображения на экран дисплея включает отображение размытой версии изображения.

4. Способ по любому из пп. 1 или 2, в котором экран дисплея является тачскрином, а выбор пользователем первой части изображения осуществляют посредством идентификации действия касания, выполненного пользователем по отношению к экрану дисплея.

5. Способ по п. 3, в котором экран дисплея является тачскрином, а выбор пользователем первой части изображения осуществляют посредством идентификации действия касания, выполненного пользователем по отношению к экрану дисплея.

6. Способ по п. 5, в котором посредством действия касания, выполненного пользователем по отношению к экрану дисплея, посредством скольжения по экрану убирают часть размытой версии изображения, которая соответствует первой части изображения.

7. Способ по любому из пп. 1 или 2, в котором вторая часть изображения является непосредственно примыкающей к первой части изображения.

8. Способ по п. 3, в котором вторая часть изображения является непосредственно примыкающей к первой части изображения.

9. Способ по п. 4, в котором вторая часть изображения является непосредственно примыкающей к первой части изображения.

10. Способ по любому из пп. 5 или 6, в котором вторая часть изображения является непосредственно примыкающей к первой части изображения.

11. Способ по п. 1, в котором на этапе определения по меньшей мере одного из логических продолжений и логических расширений:
распознают весь текст, содержащийся в изображении, для отображения всего распознанного текста;
выполняют анализ всего распознанного текста для определения возможного содержания в нем невыбранной части текста.

12. Способ по п. 2, в котором на этапе определения по меньшей мере одного из логических продолжений и логических расширений распознают весь текст, содержащийся в изображении, для отображения всего распознанного текста; выполняют анализ всего распознанного текста для определения возможного содержания в нем невыбранной части текста.

13. Способ по п. 11, в котором анализ дополнительно включает в себя выбор невыбранной части текста на основе невыбранной части текста, являющейся логическим продолжением выбранной части текста.

14. Способ по п. 12, в котором анализ дополнительно включает в себя выбор невыбранной части текста на основе невыбранной части текста, являющейся логическим продолжением выбранной части текста.

15. Способ по п. 11, в котором анализ дополнительно включает в себя выбор невыбранной части текста на основе невыбранной части текста, являющейся логическим расширением выбранной части текста.

16. Способ по п. 12, в котором анализ дополнительно включает в себя выбор невыбранной части текста на основе невыбранной части текста, являющейся логическим расширением выбранной части текста.

17. Способ по п. 11, в котором выбранная часть текста включает в себя первую выбранную часть текста и вторую выбранную часть текста, невыбранная часть текста включает в себя первую невыбранную часть текста и вторую невыбранную часть текста, а анализ дополнительно включает в себя выбор:
первой невыбранной части текста на основе первой невыбранной части текста, являющейся одним из логических продолжений и логических расширений по меньшей мере одной из первой выбранной части текста и второй выбранной части текста; и
второй невыбранной части текста на основе второй невыбранной части текста, являющейся одним из логических продолжений и логических расширений по меньшей мере одной из первой выбранной части текста и второй выбранной части текста.

18. Способ по п. 12, в котором выбранная часть текста включает в себя первую выбранную часть текста и вторую выбранную часть текста, невыбранная часть текста включает в себя первую невыбранную часть текста и вторую невыбранную часть текста, а анализ дополнительно включает в себя выбор:
первой невыбранной части текста на основе первой невыбранной части текста, являющейся одним из логических продолжений и логических расширений по меньшей мере одной из первой выбранной части текста и второй выбранной части текста;
второй невыбранной части текста на основе второй невыбранной части текста, являющейся одним из логических продолжений и логических расширений по меньшей мере одной из первой выбранной части текста и второй выбранной части текста.

19. Способ по п. 1, в котором дополнительно отображают по меньшей мере часть распознанного элемента текста.

20. Способ по п. 1, в котором дополнительно определяют категорию по меньшей мере части распознанного элемента текста.

21. Способ по любому из пп. 19 или 20, в котором дополнительно отображают совет по выполнению действия относительно по меньшей мере части распознанного элемента текста.

22. Способ по п. 21, в котором совет по выполнению действия относительно по меньшей мере части выбранного распознанного элемента текста основан на категории по меньшей мере части распознанного элемента текста.

23. Способ по п. 21, в котором дополнительно выполняют действие относительно по меньшей мере части распознанного элемента текста.

24. Способ по п. 22, в котором дополнительно выполняют действие относительно по меньшей мере части распознанного элемента текста.

25. Способ по п. 23, в котором выполнение действия осуществляют в ответ на получение подтверждения пользователем выполнения действия относительно по меньшей мере части распознанного элемента текста.

26. Способ по п. 24, в котором выполнение действия осуществляют в ответ на получение подтверждения пользователем выполнения действия относительно по меньшей мере части распознанного элемента текста.

27. Способ по любому из пп. 23 или 26, в котором на этапе выполнения действия относительно по меньшей мере части распознанного элемента текста выполняют по меньшей мере одно из следующих действий:
ввод по меньшей мере части распознанного элемента текста в календарь;
ввод по меньшей мере части распознанного элемента текста в базу данных с информацией о контактах;
отображение адреса на карте;
создание маршрута к точке назначения;
сохранение по меньшей мере части распознанного элемента текста.

28. Способ по п. 1, в котором дополнительно сохраняют первую и вторую части изображения по отдельности в соответствии с распознанным элементом текста.

29. Способ по п. 1, в котором дополнительно сохраняют первую и вторую части изображения вместе в соответствии с распознанным элементом текста.

30. Способ по п. 1, в котором дополнительно индексируют по меньшей мере одно из следующего: распознанный элемент текста, изображение в целом, первую и вторую части изображения по меньшей мере части распознанного элемента текста, а также сохраняют полученный индекс.

31. Электронное устройство для обработки визуального объекта, содержащее экран дисплея, процессор, соединенный с экраном дисплея, выполненный с возможностью получения доступа к машиночитаемым командам:
вывода изображения на экран дисплея;
выбора пользователем первой части изображения;
распознавания текста выбранной части текста и невыбранной части текста, расположенной на второй части изображения, отличающейся от первой части изображения, для отображения распознанной части текста при выборе пользователем первой части изображения, содержащей выбранную текстовую часть;
определения по меньшей мере одного из логических продолжений и логических расширений невыбранной части текста по отношению к выбранной части текста.

32. Электронное устройство по п. 31, в котором дополнительно имеется камера, функционально связанная с процессором, процессор выполнен с возможностью захвата изображения, посредством камеры перед выводом изображения на экран дисплея.

33. Электронное устройство по любому из пп. 31 или 32, в котором процессор выполнен с возможностью отображения размытой версии изображения.

34. Электронное устройство по любому из пп. 31 или 32, в котором экран дисплея является тачскрином, процессор выполнен с возможностью получения данных о выборе пользователем первой части изображения посредством идентификации действия касания, выполненного пользователем на тачскрине.

35. Электронное устройство по п. 33, в котором экран дисплея является тачскрином, а процессор выполнен с возможностью получения данных о выборе пользователем первой части изображения посредством идентификации действия касания, выполненного пользователем на тачскрине.

36. Электронное устройство по любому из пп. 31 или 32, в котором процессор выполнен с возможностью осуществления распознавания текста.

37. Электронное устройство по п. 33, в котором процессор выполнен с возможностью осуществления распознавания текста.

38. Электронное устройство по п. 34, в котором процессор выполнен с возможностью осуществления распознавания текста.

39. Электронное устройство по п. 35, в котором процессор выполнен с возможностью осуществления распознавания текста.

40. Электронное устройство по п. 31, в котором процессор выполнен с возможностью:
распознавания всего текста, содержащегося в изображении, для его отображения;
анализа всего распознанного текста для того, чтобы определить возможное содержание в нем невыбранной части текста.

41. Электронное устройство по п. 32, в котором процессор выполнен с возможностью:
распознавания всего текста, содержащегося в изображении, для его отображения;
анализа всего распознанного текста для того, чтобы определить возможное содержание в нем невыбранной части текста.

42. Электронное устройство по любому из пп. 40 или 41, в котором процессор выполнен с возможностью выбора невыбранной части текста на основе невыбранной части текста, которая является логическим продолжением выбранной части текста.

43. Электронное устройство по любому из пп. 40 или 41, в котором процессор выполнен с возможностью выбора невыбранной части текста на основе невыбранной части текста, которая является логическим расширением выбранной части текста.

44. Электронное устройство по любому из пп. 40 или 41, в котором процессор выполнен с возможностью выбора:
первой невыбранной части текста на основе первой невыбранной части текста, являющейся одним из логических продолжений и логических расширений по меньшей мере одной из первой выбранной части текста и второй выбранной части текста, и
второй невыбранной части текста на основе второй невыбранной части текста, являющейся одним из логических продолжений и логических расширений по меньшей мере одной из первой выбранной части текста и второй выбранной части текста.

45. Электронное устройство по п. 31, в котором процессор выполнен с возможностью отображения по меньшей мере части распознанного элемента текста.

46. Электронное устройство по п. 45, в котором процессор выполнен с возможностью определения категории по меньшей мере части распознанного элемента текста.

47. Электронное устройство по любому из пп. 45 или 46, в котором процессор выполнен с возможностью отображения совета по выполнению действия в отношении по меньшей мере части распознанного элемента текста.

48. Электронное устройство по п. 47, в котором процессор выполнен с возможностью выполнения действия в отношении по меньшей мере части распознанного элемента текста.

49. Электронное устройство по п. 48, в котором процессор выполнен с возможностью выполнения указанного действия в отношении по меньшей мере
части распознанного элемента текста в соответствии с подтверждением пользователем для выполнения действия в отношении по меньшей мере части распознанного элемента текста.

50. Электронное устройство по п. 49, в котором процессор выполнен с возможностью выполнения указанного действия в отношении по меньшей мере части распознанного элемента текста, включающего в себя по меньшей мере одно из следующих действий:
ввод по меньшей мере части распознанного элемента текста в календарь;
ввод по меньшей мере части распознанного элемента текста в базу данных с информацией о контактах;
отображение адреса на карте;
создание маршрута к точке назначения;
сохранение по меньшей мере части распознанного элемента текста.

51. Электронное устройство по п. 31, в котором процессор выполнен с возможностью сохранения первой части изображения и второй части изображения в соответствии с распознанным элементом текста.

52. Электронное устройство по п. 31, в котором процессор выполнен с возможностью сохранения первой части изображения и второй части изображения вместе в соответствии с распознанным элементом текста.

53. Электронное устройство по п. 31, в котором процессор выполнен с возможностью индексирования по меньшей мере одного из следующего: распознанный элемент текста, изображение в целом, первая и вторая части изображения по меньшей мере части распознанного элемента текста, а также сохранения полученного индекса.



 

Похожие патенты:

Изобретение относится к вычислительной технике. Технический результат заключается в повышении эффективности обработки символьных данных.

Изобретение относится к области обработки данных в вычислительной среде. Техническим результатом является обеспечение замены позиции таблицы динамической трансляции адреса (DAT).

Изобретение относится к вычислительной технике и может быть использовано в составе процессоров быстрого преобразования Фурье или быстрого преобразования в базисах ортогональных функций, используемых в спектроанализаторах.

Изобретение относится к вычислительной технике и может быть использовано в автоматических и вычислительных устройствах для осуществления вычисления линейной свертки.

Изобретение относится к вычислительной технике и может быть использовано в составе процессора БПФ. .

Изобретение относится к вычислительной технике и может быть использовано в параллельных вычислительных системах с общим управлением и с основной памятью, состоящей из нескольких независимо адресуемых блоков.

Изобретение относится к устройствам для чтения электронных документов. Технический результат заключается в обеспечении возможности сгибания области устройства между управляющей схемной платой и дисплеем.

Изобретение относится к средствам динамического управления информацией списков контактов в мультимодальной системе связи. Технический результат заключается в уменьшении времени на управление списком контактов.

Изобретение относится к области отображения веб-страниц. Технический результат - одновременное представление последовательно выбранных и запрошенных веб-страниц.

Изобретение относится к указательным устройствам. Технический результат заключается в предотвращении утомляемости кисти руки.

Изобретение относится к области техники обработки данных веб-страницы и, в частности, к способу и системе для отображения веб-страницы. Техническим результатом является уменьшение времени взаимодействия человек-компьютер и использования ресурса компьютера за счет обеспечения персонализированного отображения веб-страницы в различные периоды времени без необходимости в повторном изменении и повторном сохранении параметра отображения.

Изобретение относится к области обработки информации. Технический результат изобретения заключается в эффективности ввода информации через сенсорную панель и за счет наклона устройства обработки информации.

Изобретение относится к устройствам обработки информации. Технический результат заключается в повышении скорости ввода информации.

Изобретение относится к устройствам отслеживания показателей жизнедеятельности. Технический результат заключатся в повышении надежности различения между пользовательскими управляющими командами и другими движениями в инерционных датчиках.

Изобретение относится к устройствам управления. Технический результат заключается в обеспечении возможности переключения между режимом относительных координат и режимом абсолютных координат.

Изобретение относится к области поиска в Интернете. Техническим результатом является экономия энергии клиентского устройства.

Изобретение относится к выполнению синтаксического анализа текста. Технический результат - оценка всех возможных синтаксических комбинаций быстро и без потери истинного смысла текста.
Наверх