Автоматический цифровой сбор и маркировка динамичных видеоизображений

Авторы патента:

ЛОКШИН Дэвид Дж. (US)

H04N21/84 - Передача изображений, например телевидение (измерения, испытания G01; системы для оригиналов рукописей например, пишущие телеграфные аппараты, которые рассматриваются в подклассе G08; накопление информации, основанное на относительном перемещении носителя записи и преобразователя G11B; кодирование; декодирование или преобразование кодов вообще H03M; радиовещание или регистрация использования радиосети H04H)

Владельцы патента RU 2617691:

ЭЛПАЙН РИПЛЕЙ, ИНК. (US)

Изобретение относится к области генерирования и обработки описательных данных контента, а именно к автоматическому цифровому сбору, снабжению комментариями и маркировке динамичных видеоизображений. Техническим результатом является обеспечение сопоставления данных видеоизображения и данных о выполнении из разных наборов данных, даже если данные видеоизображения и данные о выполнении записывались независимо и без явных сведений о другом действии. Для этого принимают в системе обработки данные GPS, а в некоторых вариантах осуществления – инерциальные данные, от устройства с датчиками, носимого спортсменом во время спортивного действия. Система обработки обрабатывает данные GPS и инерциальные данные, при их наличии, чтобы идентифицировать по меньшей мере одно событие у спортсмена, и сохраняет данные, идентифицирующие событие у спортсмена, в базе данных о выполнении. Данные видеоизображения от видеокамеры сохраняются в базе данных видеоизображений, причем данные видеоизображения включают в себя информацию о местоположении, времени и направлении, ассоциированную с кадрами видеоизображения. Данные временного кода в базе данных видеоизображений синхронизируются с данными временного кода в базе данных о выполнении, и данные, идентифицирующие событие у спортсмена, используются для автоматического выбора, снабжения комментариями, маркировки или редактирования упомянутых данных видеоизображения. 3 н. и 30 з.п. ф-лы, 5 ил.

[0001] Данная заявка притязает на приоритет Предварительной патентной заявки США с порядковым номером 61/689654, поданной 11 июня 2012 года, озаглавленной "Auto Digital Curation And Tagging Of Action Videos", и заявки на патент США с порядковым номером 13/734818, поданной 4 января 2013 года, озаглавленной "Automatic Digital Curation And Tagging Of Action Videos", которые полностью включаются в этот документ путем отсылки.

[0002] Данная заявка включает в себя материал, который подлежит охране авторского права. Владелец авторских прав не имеет возражений против факсимильного воспроизведения кем-либо раскрытия патента, как он выглядит в файлах или записях Бюро США по патентам и торговым знакам, в противном случае абсолютно все авторские права защищены.

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0003] Настоящее изобретение в общем относится к области устройств для записи видеоизображения и в частности к способам и устройствам для автоматического цифрового сбора и маркировки динамичных видеоизображений.

УРОВЕНЬ ТЕХНИКИ

[0004] Широкая доступность портативных камер привела к стремительному росту коротких любительских и профессиональных видеоизображений. Многие из этих видеоизображений, особенно сделанных камерами для динамичной съемки типа POV (от первого лица), относятся к экстремальным видам спорта, таким как горные лыжи, катание на сноуборде, серфинг, катание на горном велосипеде и т.п. Веб-сайт YouTube, например, содержит тысячи таких видеоизображений.

[0005] Вместе с тем очень большое количество и популярность этих видеоизображений создали свою проблему. Во-первых, стало очень трудно отыскать представляющее интерес видеоизображение, когда представляющее интерес событие не ассоциировано явно с видеоизображением его создателями. Во-вторых, поскольку большинство видеоизображений сделано любителями и не редактируется, пользователям приходится смотреть все видеоизображение, даже если они заинтересованы только в его некоторой конкретной части, например когда сноубордист прыгает, или у лыжника очень быстрый участок спуска, или любые другие конкретные события в более крупном видеоизображении.

[0006] В то же время широкая популярность портативных устройств с GPS и другими датчиками делает возможным точное измерение, хранение и классификацию действий в экстремальных видах спорта. Поэтому если бы данные видеоизображения и данные о выполнении можно было синхронизировать во времени и пространстве, то видеоматериалы можно было бы снабжать комментариями, редактировать, выбирать и маркировать на основе матрицы выполнения конкретного действия, которое было снято.

[0007] Человек, ищущий или просматривающий такое видеоизображение, может отыскать конкретное видеоизображение или части видеоизображения. Например, такой человек может захотеть найти видеоизображение, которое показывает прыжки на сноуборде с временем пребывания в воздухе больше одной секунды. Однако это было бы непрактично или невозможно при использовании доступных в настоящее время средств для маркировки видеоизображений, которые обычно используют только семантику и текстовые описания видеоизображений.

[0008] Другая проблема, ассоциированная со многими динамичными видеоизображениями, состоит в том, что они создаются одним человеком, а данные о выполнении для "субъекта" видеоизображения собираются датчиками, совмещенными с субъектом видеоизображения, который является другим человеком.

[0009] Предприняты попытки помечать видеоизображение во время захвата для быстрого выбора. Однако такие решения обычно используют метки, которые основываются на тексте, который создается другими или обнаруживается в видеоизображении.

[0010] Патенты США 7624337 и 7823055 раскрывают решение, которое использует текст, включая текст в видеоизображении, для создания меток и метаданных для последующего использования в поиске видеоизображений.

[0011] Патент США 5832171 (Heist) и др. описывает синхронизацию видеоизображения и текста, где текст создавался для видеоизображения.

[0012] Патент США 4873585 (Blanton) и др. показывает систему, которая допускает выбор изображений конкретных движений из видеоизображения, чтобы предоставить простой доступ к этим изображениям. Однако это требует вмешательства оператора и принятия решений.

[0013] Патент США 7483049 (Aman) и др. раскрывает создание базы данных с видеоизображениями спортивных движений. Однако видеоизображение нужно создавать в сильно управляемой среде с помощью нескольких камер спортсменами с видимыми или невидимыми маркерами, которые можно идентифицировать на видеоизображении.

[0014] Также существует пакет документов по инициированию видеоизображения конкретными событиями, главным образом нарушениями правил движения. Патент США 7986339 (Higgins) описывает систему, допускающую запись и анализ неподвижных изображений и видеоизображений нарушения правил движения. Однако видеозапись инициируется внешним физическим сигналом, который формируется транспортным средством, например лазером или радаром на эффекте Допплера. Патент США 6919823 (Lock) и Патент США 7633433 (Behrens) аналогичны, причем инициирующий сигнал формируется переключением красного света или лазерным лучом, прерываемым после переключения красного света.

[0015] К тому же в вышеупомянутых случаях относительное положение камеры и субъекта видеоизображения известны заранее, и поэтому решение не предоставляет никакого поиска во временной и пространственной области для сопоставления события и видеоматериалов.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0016] В варианте осуществления настоящее раскрытие изобретения предоставляет способ и систему, которые делают возможным синхронизацию видеоизображения и соответствующих данных о выполнении, а затем маркировку и/или редактирование видеоизображения на основе данных о выполнении. Данные видеоизображения и данные о выполнении могут собираться совмещенным устройством (то есть одним и тем же устройством) либо разными устройствами и разными пользователями. Данные видеоизображения и данные о выполнении также могли бы сохраняться на одном устройстве или сохраняться на разных устройствах или базах данных. Изобретение соответственно может обеспечить сопоставление данных видеоизображения и данных о выполнении из разных наборов данных или разных баз данных, а затем автоматическое редактирование, снабжение комментариями и маркировку видеоизображения. Это может выполняться, даже если данные видеоизображения и данные о выполнении записывались независимо и без явных сведений о другом действии.

[0017] Изобретение принимает в системе обработки данные GPS, а в некоторых вариантах осуществления - инерциальные данные от устройства с датчиками, носимого пользователем, который в некоторых вариантах осуществления является спортсменом во время спортивного действия. Данные GPS могут быть данными о положении, или данными о времени, либо данными о положении и времени. Система обработки обрабатывает данные GPS и необязательные данные датчиков, чтобы идентифицировать по меньшей мере одно событие, например спортивное событие, и сохраняет данные, идентифицирующие это событие, в базе данных о выполнении. Данные видеоизображения от видеокамеры сохраняются в базе данных видеоизображений, причем данные видеоизображения включают в себя информацию о местоположении, времени и направлении, ассоциированную с кадрами видеоизображения. Данные временного кода в видеозаписи синхронизируются с данными временного кода в записи выполнения, и данные, идентифицирующие событие, используются для автоматического выбора, снабжения комментариями, маркировки или редактирования упомянутых данных видеоизображения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0018] Вышеупомянутые и другие цели, признаки и преимущества изобретения станут очевидными из нижеследующего, более конкретного описания предпочтительных вариантов осуществления, которые проиллюстрированы на прилагаемых чертежах, на которых номера позиций относятся к одинаковым частям на различных представлениях. Чертежи не обязательно представлены в масштабе, вместо этого сделан акцент на иллюстрацию принципов изобретения.

[0019] Фиг. 1 показывает логическую блок-схему, иллюстрирующую вариант осуществления способа для автоматического выбора нужной части видеоматериалов из динамичного видеоизображения, когда датчики совмещаются с видеокамерой.

[0020] Фиг. 2 показывает трехмерное схематическое изображение, иллюстрирующее сценарий, в котором траектория лыжника пересекает поле зрения камеры A, но не пересекает поле зрения для камеры B.

[0021] Фиг. 3 показывает логическую блок-схему, иллюстрирующую вариант осуществления подходящего алгоритма, который ищет в базе данных активных камер.

[0022] Фиг. 4 показывает блок-схему, иллюстрирующую организацию баз данных видеоизображений и выполнения в соответствии с вариантом осуществления изобретения.

[0023] Фиг. 5 показывает логическую блок-схему, иллюстрирующую процесс для использования метаданных выполнения для упрощения поиска.

ПОДРОБНОЕ ОПИСАНИЕ

[0024] Сейчас будет сделана подробная ссылка на предпочтительные варианты осуществления настоящего изобретения, примеры которых иллюстрируются на прилагаемых чертежах.

[0025] Настоящее изобретение описывается ниже со ссылкой на блок-схемы и функциональные иллюстрации системы и способа для автоматического цифрового сбора и маркировки динамичных видеоизображений. Подразумевается, что каждый блок в блок-схемах или функциональных иллюстрациях и сочетания блоков на блок-схемах или функциональных иллюстрациях могут быть реализованы посредством аналоговых или цифровых аппаратных средств и команд компьютерной программы. Эти команды компьютерной программы могут храниться на машиночитаемых носителях и предоставляться процессору универсального компьютера, специализированного компьютера, ASIC или другого программируемого устройства обработки данных, так что команды, которые исполняются посредством процессора компьютера или другого программируемого устройства обработки данных, реализуют функции/действия, заданные на блок-схемах, или функциональный блок либо блоки. В некоторых дополнительных реализациях функции/действия, упомянутые в блоках, могут совершаться не в порядке, упомянутом на функциональных иллюстрациях. Например, показанные в последовательности два блока на самом деле могут выполняться практически одновременно, или блоки иногда могут выполняться в обратном порядке в зависимости от участвующих функциональных возможностей/действий.

[0026] В варианте осуществления пользователь оснащается устройством с датчиками, которое записывает его/ее движения. Устройство с датчиками может быть, например, портативным устройством, которое включает в себя GPS и инерциальные датчики. Также предоставляется система обработки, которая может быть встроена в устройство с датчиками, может быть обособленным устройством или может быть серверной, которая предусматривает обнаружение таких событий, как прыжки, сальто, вращения, высокая скорость, быстрые повороты и т.п. В результате в базе данных о выполнении создается и сохраняется подробная запись движений с подробной траекторией, скоростью, ускорением, прыжками, трюками и т.п. Также предоставляется видеокамера, для которой информация о местоположении, времени и, при желании, направлении известна для времени, когда снимается видеоизображение. Камера может совмещаться с датчиками или может быть независимым устройством.

[0027] Нижеследующее является неограничивающим примером работы системы и способа в соответствии с вариантом осуществления изобретения. Видеокамера записывает некое спортивное действие, которое происходит между моментом t=T_start и t=T_end. В этом примере такие же параметры выполнения действия также записаны с использованием набора датчиков. Конкретное представляющее интерес событие, например прыжок, обнаруживается с использованием данных от датчиков в момент t=t_k, T_start<t_k<T_end. Затем, если данные от датчиков и видеоизображение синхронизированы по времени, то видеоматериалы представляющего интерес события можно вырезать между моментом t_k-T и t_k+T, где T - полупериод нужных видеоматериалов. В варианте осуществления, если видеоизображение короче нужного времени 2T, то используется все видеоизображение. Временная синхронизация между данными видеоизображения и данными датчиков может проводиться с использованием временных отметок GPS, либо временных отметок беспроводной сети, либо любого другого способа, известного специалистам в данной области техники.

[0028] Фиг. 1 показывает блок-схему алгоритма, иллюстрирующую вариант осуществления способа для автоматического выбора нужной части видеоматериалов из динамичного видеоизображения, когда датчики совмещаются с видеокамерой. Координация времени и положения позволяет системе автоматически ассоциировать видеоматериалы и спортивное выполнение. Если известны положение, направление и фокусное расстояние камеры, то можно выполнить более сложное составление пар между данными видеоизображения и данными от датчиков. Способ начинается с этапа 101, на котором время синхронизируется между видеозаписями и записями датчиков. На этапе 103 выбирается представляющее интерес событие на основе данных датчиков. Это событие может быть, например, прыжком, сальто, вращением, высокоскоростным участком, поворотом, быстрым поворотом или любой другой ограниченной частью выполнения пользователя, которая может представлять интерес. На этапе 105 устройство обработки автоматически определяет, где происходит представляющее интерес событие в данных датчиков, при t=T_sns. Различные системы и способы для идентификации представляющего интерес события в данных датчиков показаны, например, в заявке на патент США № 13/612470, озаглавленной "Method and Apparatus for Determining Sportsman Jumps Using Fuzzy Logic", поданной 12 сентября 2012 года, все раскрытие которой включается в этот документ путем отсылки.

[0029] Продолжая ссылаться на фиг. 1, на этапе 107 время, определенное на вышеприведенном этапе 105, переносится во временной интервал видеоизображения в базе данных видеоизображений, так что Tv = Sync(T_sns). Затем на этапе 109 выбирается видеоизображение между Tv-T:Tv+T. Данные о выполнении затем внедряются (отображаются, добавляются в комментарии) в данные видеоизображения на этапе 111. Данные видеоизображения можно автоматически маркировать с помощью данных о выполнении на этапе 113. Автоматизированная маркировка может включать в себя имя пользователя, время и местоположение события и ключевые характеристики выполнения, например скорость, значение наклона, время и/или высоту прыжка, угол отклонения, или торговую марку и т.п. В качестве альтернативы или дополнительно видеоизображение затем можно автоматически редактировать, и этап 111 завершен.

[0030] Специалисты в данной области техники поймут, что аналогичная работа может выполняться путем выбора подходящего сегмента выполнения, когда видеоизображение короткое, а запись выполнения охватывает гораздо больший перекрывающийся период времени.

[0031] Фиг. 2 показывает трехмерное схематическое изображение, иллюстрирующее сценарий, в котором траектория лыжника пересекает поле зрения камеры A, но не пересекает поле зрения для камеры B. Если представляющее интерес событие происходит в течение времени, когда функционирует камера A, то можно идентифицировать и выбрать подходящие материалы. Траектория события B не пересекает никакое поле зрения камеры и не может быть синхронизирована. Эта реализация иллюстрирует возможный случай, где несколько автоматически управляемых камер постоянно записывают любое действие в их поле зрения, а затем представляющее интерес видеоизображение автоматически выбирается на основе данных о выполнении, времени и местоположении, которые собираются отдельно.

[0032] Фиг. 3 показывает блок-схему алгоритма, иллюстрирующую вариант осуществления подходящего алгоритма, который ищет в базе данных активных камер. На этапе 301 представляющее интерес событие идентифицируется с использованием данных датчиков. Как отмечалось выше, такое событие может быть прыжком, сальто, вращением, высокоскоростным участком, поворотом, быстрым поворотом или любой другой ограниченной частью выполнения пользователя, которая может представлять интерес. Как только идентифицируется событие, на этапе 303 система обработки определяет географическое положение и продолжительность времени события. На этапе 305 система обработки отыскивает все камеры, которые функционируют в момент T_k (определенный на вышеприведенном этапе 303). Если нет функционирующих камер, как определено на этапе 307, то процесс завершается. В противном случае процесс переходит к этапу 309, на котором данные функционирующих камер или камеры синхронизируются по времени с данными датчиков или датчика. Как только функционирующие камеры или их данные синхронизируются по времени с данными датчиков или датчика, процесс переходит к выбору на этапе 311 подмножества камер, у которых положение события (которое определено выше на этапе 303) находится в их поле зрения. Если нет таких камер, как определено на этапе 313, то процесс завершается. Среди ранее выбранного подмножества камер выбирается дополнительное подмножество камер на этапе 315, причем это дополнительное подмножество является теми данными камер или камеры, которые удовлетворяют другим критериям. Примеры таких других критериев включают в себя, например, камеру, которая обладает наилучшим фокусом. Из дополнительного подмножества камер на этапе 317 выбираются видеоматериалы, записанные в момент T_k-T:T_k+T. На этапе 319 данные о выполнении для представляющего интерес события или для всего выполнения внедряются в данные видеоизображения. В конечном счете данные видеоизображения на этапе 321 маркируются с помощью данных о выполнении, а также с помощью другой информации - времени, местоположения, пользователя.

[0033] Фиг. 4 показывает блок-схему, иллюстрирующую пример организации баз данных видеоизображений и выполнения в соответствии с вариантом осуществления изобретения. Фиг. 5 показывает блок-схему алгоритма, иллюстрирующую процесс для использования метаданных выполнения для упрощения поиска.

[0034] Таким образом, вариант осуществления раскрытых сейчас системы и способа позволяет редактирование, снабжение комментариями и поиск в отдельном видеоизображении или библиотеке видеоизображений по характеристикам выполнения. Выбор субъекта можно дополнительно уточнить путем выбора данных о выполнении от пользователей, которые принадлежат к конкретной подгруппе, например "друзья". Предположим, что несколько пользователей имеют траекторию данных о выполнении, которая соответствует конкретному видеоклипу. Однако только один пользователь среди них принадлежит к подгруппе "друзья" человека, который создал видеоизображение. Тогда данные о выполнении этого "друга" можно выбрать автоматически для синхронизации с видеоизображением. Это разрешает распространенную ситуацию, в которой человек записывает видеоизображение его или ее друзей, и в кадре также записывается действие других людей. Автоматический выбор в соответствии с различными вариантами осуществления изобретения может дополнительно повысить производительность системы и упростить процесс создания видеоизображения.

[0035] Описанные в этом документе этапы обработки могут выполняться на одном или нескольких вычислительных устройствах. Например, этапы могут выполняться на любом сочетании (a) портативного устройства сбора данных, носимого пользователем, (b) портативного вычислительного устройства видеозаписи, носимого наблюдателем на спортивном событии или пользователем, участвующим в событии, или (c) удаленного серверного вычислительного устройства. Примером портативных устройств сбора данных является портативное вычислительное устройство или смартфон с возможностью акселерометра и GPS. Примеры портативного вычислительного устройства видеозаписи включают в себя видеокамеру с возможностью обработки или смартфон с аппаратными средствами и программным обеспечением для видеозаписи. Каждое такое вычислительное устройство может содержать, например, процессор для выполнения команд; машиночитаемые носители, например статическое запоминающее устройство и/или динамическое запоминающее устройство для хранения команд компьютерной программы; средство ввода, например сенсорный экран, клавиатуру, речевой ввод, мышь или т.п.; сетевой интерфейс для взаимодействия по беспроводной и/или проводной сети и интерфейс пользователя, например дисплей, динамик и аппаратные или программируемые кнопки. Портативное устройство сбора данных может дополнительно включать в себя акселерометр, например трехкоординатный акселерометр, а также может включать в себя приемник GPS и способность определять свое положение с его использованием. Удаленное серверное вычислительное устройство может быть устройством, которое удалено от портативного устройства сбора данных. Например, может предоставляться служебный или настольный компьютер, и он может обрабатывать необработанные или предварительно обработанные данные акселерометра от портативного устройства сбора данных. Передача данных от портативного устройства сбора данных к вычислительному устройству или к удаленному серверному вычислительному устройству может выполняться посредством беспроводного и/или проводного сетевого интерфейса, ассоциированного с портативным устройством сбора данных, и беспроводного и/или проводного сетевого интерфейса, ассоциированного с удаленным служебным или удаленным настольным компьютером.

[0036] Вышеприведенные варианты осуществления и предпочтения являются пояснительными для настоящего изобретения. Для данного патента не является необходимым или предполагаемым обрисовывать или задавать каждое возможное сочетание или вариант осуществления. Автор изобретения раскрыл достаточно информации, чтобы позволить специалисту в данной области техники применить на практике по меньшей мере один вариант осуществления изобретения. Вышеприведенное описание и чертежи являются лишь пояснительными для настоящего изобретения, и изменения в компонентах, структуре и процедуре возможны без отклонения от объема настоящего изобретения, который задан в нижеследующей формуле изобретения. Например, элементы и/или этапы, описанные выше и/или в нижеследующей формуле изобретения в конкретном порядке, могут применяться на практике в другом порядке без отклонения от изобретения. Таким образом, хотя изобретение подробно показано и описано со ссылкой на его варианты осуществления, специалисты в данной области техники поймут, что в нем могут быть сделаны различные изменения в форме и деталях без отклонения от сущности и объема изобретения.

1. Способ автоматического цифрового сбора и маркировки и/или редактирования видеоизображений, содержащий этапы, на которых:

принимают в системе обработки данные GPS от устройства, носимого пользователем или прикрепленного к спортивному инвентарю во время спортивных действий, причем данные GPS содержат по меньшей мере одно из данных о положении и данных о времени;

обрабатывают данные GPS в системе обработки, чтобы идентифицировать по меньшей мере одно событие, в котором участвует пользователь;

сохраняют данные, идентифицирующие это по меньшей мере одно событие, в записи выполнения в качестве данных о выполнении;

сохраняют данные видеоизображения в видеозаписи, причем данные видеоизображения имеют метаданные, содержащие, по меньшей мере, информацию о времени и местоположении, ассоциированную с кадрами видеоизображения;

синхронизируют данные временного кода в видеозаписях с данными временного кода в записях выполнения; и

используют данные о выполнении, чтобы автоматически выбирать, снабжать комментариями или редактировать данные видеоизображения, добавлять по меньшей мере одну метку в данные видеоизображения и внедрять, по меньшей мере, часть данных о выполнении в данные видеоизображения.

2. Способ по п. 1, в котором устройство, носимое пользователем, представляет собой устройство с датчиками, при этом на упомянутом этапе приема принимают инерциальные данные от устройства с датчиками, причем на упомянутом этапе обработки обрабатывают эти инерциальные данные.

3. Способ по п. 1, в котором пользователь является спортсменом, а упомянутое событие является спортивным событием.

4. Способ по п. 1, в котором запись выполнения представляет базу данных о выполнении.

5. Способ по п. 4, в котором видеозапись представляет базу данных видеоизображений.

6. Способ по п. 1, в котором упомянутые метаданные дополнительно содержат информацию о направлении.

7. Способ по п. 1, в котором упомянутый этап, на котором синхронизируют данные временного кода в видеозаписях с данными временного кода в записях выполнения, осуществляется с использованием временных отметок GPS.

8. Способ по п. 1, в котором упомянутый этап, на котором синхронизируют данные временного кода в видеозаписях с данными временного кода в записях выполнения, осуществляется с использованием временных отметок беспроводной сети.

9. Способ по п. 1, в котором упомянутое по меньшей мере одно событие, идентифицированное системой обработки, содержит событие, выбранное из набора, состоящего из: прыжка, сальто, вращения, высокоскоростного участка, поворота и быстрого поворота.

10. Способ по п. 1, в котором упомянутое устройство является портативным устройством, содержащим по меньшей мере один датчик GPS и по меньшей мере один инерциальный датчик.

11. Способ по п. 1, в котором система обработки встраивается в упомянутое устройство.

12. Способ по п. 1, в котором система обработки является обособленным от упомянутого устройства устройством.

13. Способ по п. 1, в котором система обработки является сервером.

14. Способ по п. 4, в котором данные GPS и инерциальные данные сохраняются в базе данных о выполнении.

15. Способ по п. 1, в котором упомянутое устройство совмещается с камерой, которая формирует данные видеоизображения.

16. Способ по п. 1, в котором упомянутое устройство является обособленным и независимым от камеры, которая формирует данные видеоизображения.

17. Способ по п. 5, в котором база данных о выполнении и база данных видеоизображений являются одной и той же базой данных с обособленными записями для данных о выполнении и для данных видеоизображения.

18. Способ по п. 1, дополнительно содержащий этап, на котором используют дополнительные метаданные для ускорения сопоставления данных о выполнении и данных видеоизображения.

19. Способ по п. 16, в котором на упомянутом этапе использования дополнительных метаданных используют имя или ID пользователя для упрощения поиска.

20. Система для автоматического цифрового сбора и маркировки и/или редактирования видеоизображений, содержащая:

устройство, сконфигурированное для ношения пользователем во время спортивных действий, причем данное устройство имеет по меньшей мере один датчик GPS, который формирует данные GPS;

видеокамеру, сконфигурированную для формирования данных видеоизображения; и

систему обработки, сконфигурированную:

(a) обрабатывать данные GPS, чтобы идентифицировать по меньшей мере одно событие, в котором участвует пользователь;

(b) сохранять данные, идентифицирующие это по меньшей мере одно событие, в базе данных о выполнении в качестве данных о выполнении;

(c) осуществлять доступ к данным видеоизображения в базе данных видеоизображений, причем данные видеоизображения содержат информацию о местоположении, времени и направлении, ассоциированную с кадрами видеоизображения;

(d) синхронизировать данные временного кода в базе данных видеоизображений с данными временного кода в базе данных о выполнении; и

(e) использовать данные о выполнении, чтобы автоматически выбирать, снабжать комментариями или редактировать данные видеоизображения, добавлять по меньшей мере одну метку в данные видеоизображения и внедрять, по меньшей мере, часть данных о выполнении в данные видеоизображения.

21. Система по п. 20, в которой упомянутое устройство для ношения пользователем представляет собой устройство с датчиками, при этом от устройства с датчиками принимаются инерциальные данные, причем упомянутая обработка содержит обработку этих инерциальных данных.

22. Система по п. 20, при этом пользователь является спортсменом, а упомянутое событие является спортивным событием.

23. Система по п. 20, в которой упомянутое устройство сконфигурировано для ношения прикрепленным к одежде или инвентарю пользователя.

24. Система по п. 20, в которой упомянутое по меньшей мере одно событие, идентифицированное системой обработки, содержит событие, выбранное из набора, состоящего из: прыжка, сальто, вращения, высокоскоростного участка, поворота и быстрого поворота.

25. Система по п. 20, в которой упомянутое устройство является портативным устройством, содержащим по меньшей мере один датчик GPS и по меньшей мере один инерциальный датчик.

26. Система по п. 21, в которой система обработки является встроенной в упомянутое устройство с датчиками.

27. Система по п. 21, в которой система обработки является обособленной от упомянутого устройства с датчиками устройством.

28. Система по п. 20, в которой система обработки является сервером.

29. Система по п. 21, в которой данные GPS и инерциальные данные сохраняются в базе данных о выполнении.

30. Система по п. 20, в которой упомянутое устройство совмещено с видеокамерой.

31. Система по п. 20, в которой упомянутое устройство является обособленным и независимым от видеокамеры.

32. Система по п. 20, в которой база данных о выполнении и база данных видеоизображений являются одной и той же базой данных с обособленными записями для данных о выполнении и для данных видеоизображения.

33. Долговременный машиночитаемый носитель информации, на котором сохранены машиноисполняемые инструкции, которые при их исполнении системой обработки предписывают системе обработки:

принимать данные GPS от устройства, носимого пользователем во время спортивных действий, причем упомянутые данные GPS содержат по меньшей мере одно из данных о положении и данных о времени;

обрабатывают данные GPS, чтобы идентифицировать по меньшей мере одно событие, в котором участвует пользователь;

сохранять данные, идентифицирующие это по меньшей мере одно событие, в базе данных о выполнении в качестве данных о выполнении;

сохранять данные видеоизображения в базе данных видеоизображений, причем данные видеоизображения содержат информацию о местоположении, времени и направлении, ассоциированную с кадрами видеоизображения;

синхронизировать данные временного кода в базе данных видеоизображений с данными временного кода в базе данных о выполнении; и

использовать данные о выполнении, чтобы автоматически выбирать, снабжать комментариями или редактировать данные видеоизображения, добавлять по меньшей мере одну метку в данные видеоизображения и внедрять, по меньшей мере, часть данных о выполнении в данные видеоизображения.

Изобретение относится к области телевизионного вещания, в частности к устройству предоставления информации для повышения компактности инициирующего объекта (триггера).

Способ и устройство для отображения информации // 2617546

Изобретение относится к области отображения информации. Технический результат – формирование интерфейса магазина на основании информации об устройстве для осуществления необходимых покупок.

Система связи // 2617109

Изобретение относится к области интерфейсов конечного пользователя для взаимодействия с контентом. Техническим результатом является обеспечение пользовательского интерфейса для взаимодействия пользователей с медиаданными, предоставляющего при отображении аудио элементов мультимедиа, соответствующих общему периоду времени, ассоциированному с визуальным элементом мультимедиа, отображенным в упорядоченном отображении аудиодорожки, получать доступ к визуальным элементам мультимедиа независимо от отображения аудиоэлементов мультимедиа.

Устройство декодирования изображений, устройство кодирования изображений, способ декодирования изображений и способ кодирования изображений // 2616598

Изобретение относится к области кодирования/декодирования изображений для кодирования движущегося изображения с высокой степенью эффективности. Техническим результатом является повышение качества изображений.

Способ передачи изображения по каналу связи // 2616562

Изобретение относится к передаче изображений при условии, когда на каналы передачи данных наложены ограничения по скорости передачи. Технический результат - улучшение соотношения качества и коэффициента сжатия.

Способ кодирования изображений, способ декодирования изображений, устройство кодирования изображений, устройство декодирования изображений и устройство кодирования и декодирования изображений // 2616555

Изобретение относится к области кодирования и декодирования изображений. Техническим результатом является повышение устойчивости кодирования и декодирования изображений.

Приемное устройство и способ управления им, устройство и способ распределения, программа и система распределения // 2616552

Изобретение относится к области отображения текстовой информации. Техническим результатом является возможность отображать фрагментированную текстовую информацию, требующую продолжения.

Архитектура кодека для многослойного кодирования видео // 2616549

Изобретение относится к системам, способам реализации кодирования видео. Технический результат заключается в расширении арсенала технических средств кодирования видео.

Способ декодирования видеосигнала // 2616441

Изобретение относится к области декодирования видеоданных. Технический результат – эффективное декодирование видеоизображений.

Способ, устройство и компьютерная программа для инкапсуляции сегментированных синхронизированных мультимедийных данных // 2616185

Изобретение относится к области техники инкапсуляции синхронизированных мультимедийных данных, например, согласно базовому формату мультимедийных файлов, заданному посредством стандарта MPEG.

Устройство кодирования движущегося изображения, способ кодирования движущегося изображения и программа кодирования движущегося изображения, а также устройство декодирования движущегося изображения, способ декодирования движущегося изображения и программа декодирования движущегося изображения // 2617920

Изобретение относится к технологиям кодирования/декодирования видеоизображений. Техническим результатом является повышение эффективности кодирования/декодирования движущихся изображений. Предложено устройство кодирования движущегося изображения, кодирующее движущееся изображение с использованием межкадрового предсказания на основе информации по межкадровому предсказанию кандидата на слияние в единицах блоков, полученных в результате разделения каждого кадра движущегося изображения. Устройство содержит следующие блоки: блок кодирования информации по предсказанию, блок извлечения информации по предсказанию, блок создания списка кандидатов, блок пополнения числа кандидатов, блок предсказания с компенсацией движения. 4 н.п. ф-лы, 59 ил.

Адаптация потоковой передачи на основе изображений чистого произвольного доступа (cra) // 2617995

Изобретение относится к обработке видеоданных и, более конкретно, к приемам для поддержки произвольного доступа в сжатых видеопотоках. Техническим результатом является повышение эффективности обработки и декодирования видеоданных. Предложен способ обработки видеоданных, содержащий этапы: прием сообщения, содержащего внешнее указание от сетевого объекта, на устройстве декодирования видео, в котором внешнее указание указывает, должно ли значение флага быть установлено посредством устройства декодирования видео в одно из значения по умолчанию или установленного значения, причем сетевой объект является отличным и отдельным от устройства декодирования видео; прием битового потока видео на устройстве декодирования видео, при этом битовый поток видео содержит сжатые видеоданные, и при этом битовый поток видео принимается отдельно от сообщения, содержащего внешнее указание; и обработку изображения чистого произвольного доступа (CRA) как изображения доступа с нерабочей ссылкой (BLA) на основе внешнего указания. 4 н. и 37 з.п. ф-лы, 8 ил.

Устройство и способ распределения потоковой передачи данных, устройство и способ приема потоковой передачи данных, система потоковой передачи данных, программа и носитель записи // 2618373

Изобретение относится к средствам распределения потоковой передачи данных. Технический результат заключается в уменьшении нагрузки на обработку для отображения субтитров при потоковой передаче данных. Генерируют первый фрагмент, хранящий данные содержания, подлежащего распределению посредством потоковой передачи. Генерируют второй фрагмент, хранящий экземпляр документа TTML (язык временной разметки текста), относящийся к субтитрам, подлежащим отображению в указанном содержании. Добавляют к информации заголовка второго фрагмента информацию распознавания классификации экземпляра для различения, является ли экземпляр документа TTML, хранящийся в указанном втором фрагменте, экземпляром документа TTML, определяющим представление содержания, относящегося к субтитрам. Сохраняют в указанном втором фрагменте образец, содержащий описание экземпляра документа TTML, вместе с информацией идентификации описания содержания для идентификации описания содержания указанного экземпляра документа TTML, относящегося к субтитрам, для определения, является ли указанный экземпляр документа TTML экземпляром документа инициализации или экземпляром основного документа. 7 н. и 3 з.п. ф-лы, 26 ил.

Способ и устройство для кодирования видео, а также способ и устройство для декодирования видео, дополняемые арифметическим кодированием // 2618511

Изобретение относится к декодированию видео на основе арифметического декодирования. Техническим результатом является повышение эффективности процесса декодирования символов. Предложен cпособ декодирования видео посредством декодирования символов, содержащий: синтаксический анализ символов блоков изображений из принимаемого потока битов; классификацию текущего символа на битовую строку префикса и битовую строку суффикса на основе порогового значения, определяемого согласно размеру текущего блока; выполнение арифметического декодирования посредством использования способа арифметического декодирования, определяемого для каждой из битовой строки префикса и битовой строки суффикса; и выполнение преобразования из двоичной формы посредством использования способа преобразования в двоичную форму, определяемого для каждой из битовой строки префикса и битовой строки суффикса. 19 ил., 2 табл.

Способ и устройство для кодирования и декодирования коэффициентов преобразования // 2618905

Изобретение относится к технологиям обработки видео. Техническим результатом является повышение эффективности кодирования/декодирования коэффициентов преобразования за счет того, что порядок сканирования является одинаковым для кодирующей и декодирующей частей. Предложен способ для декодирования коэффициентов преобразования. Способ содержит этап, на котором осуществляют анализ из битового потока карты ненулевых коэффициентов преобразования и значений нунелевых коэффициентов преобразования. Далее, согласно способу, осуществляют сканирование по единице субблока, согласно первому предопределенному порядку сканирования, который аналогичен порядку сканирования кодирующей части, карты ненулевых коэффициентов преобразования и значений ненулевых коэффициентов преобразования. 2 н. и 10 з.п. ф-лы, 6 ил.

Способ обнаружения движущегося объекта // 2618927

Изобретение относится к области обнаружения движущегося объекта. Технический результат – повышение точности обнаружения движущегося объекта или его возможного кандидата. Способ обнаружения движущегося объекта по изображениям, полученным в постоянных временных интервалах, основываясь на значении оценки, полученном из пиксельных значений в одних и тех же положениях пикселей, накладывающихся друг на друга на изображениях, последовательно перемещая изображения в соответствии с информацией, соответствующей предполагаемому движению движущегося объекта, содержит: этап вычисления среднего значения для ограниченного количества пикселей, на котором вычисляют среднее значение, используя пиксельные значения, равные или меньшие, чем пороговое значение, чтобы отличить движущийся объект от светоизлучающего элемента с более высокой яркостью; и этап оценки, на котором оценивают пиксели в одних и тех же положениях пикселей на изображениях, для которых средние значения, вычисленные на этапе вычисления среднего значения для ограниченного количества пикселей, равны или больше, чем пороговое значение, в качестве пикселей, захватывающих движущийся объект или его возможные кандидаты. 8 з.п. ф-лы, 11 ил.

Кодирование сообщения информации дополнительного улучшения // 2618942

Изобретение относится к вычислительной технике. Технический результат заключается в обеспечении устойчивости к ошибкам. Способ для декодирования видеоданных содержит декодирование, из битового потока, первой единицы уровня сетевой абстракции (NAL) уровня кодирования видео (VCL) в порядке декодирования в единице доступа, при этом единица доступа включает в себя видеоданные для восстановления по меньшей мере одного изображения; декодирование, из битового потока, второй единицы NAL VCL в порядке декодирования в единице доступа; декодирование, из битового потока, сообщения с информацией дополнительного улучшения (SEI) некоторого конкретного типа в единице доступа перед декодированием, из битового потока, упомянутой первой единицы NAL VCL, при этом сообщения с SEI содержат информацию, связанную с обработкой видеоданных; и декодирование, из битового потока, копии сообщения с SEI конкретного типа в единице доступа после декодирования, из битового потока, первой единицы NAL VCL и перед декодированием, из битового потока, второй единицы NAL VCL, при этом контент этой копии сообщения с SEI конкретного типа в битовом потоке ограничивается, чтобы быть идентичным контенту декодированного сообщения с SEI конкретного типа. 6 н. и 14 з.п. ф-лы, 8 ил., 5 табл.

Синхронизация данных презентации документа в режиме реального времени с помощью универсальной службы // 2619057

Изобретение относится к сетевым технологиям связи и, в частности, к онлайн презентации и вещанию. Техническим результатом является обеспечение синхронизации информации о пользовательском виде документа или другого контента в приложении с помощью собственных приложений клиента и веб-приложений, что позволяет участникам онлайн вещания видеть то, что видит презентер в своем собственном приложении. Предложено универсальное средство для синхронизации информации о пользовательском виде документа или другого контента в приложении среди собственных клиентских приложений и веб-приложений. Участникам онлайн вещания разрешено видеть то, что видит презентер в своем собственном приложении. В дополнение, специфичная для встречи информация, такая как время встречи и примечания, может быть синхронизирована, обеспечивая синхронизацию почти в режиме реального времени. Посредством разрешения участникам просматривать представленный документ в своих собственных приложениях участникам предоставлены возможности, обеспеченные этим приложением, такие как осуществление навигации по документу вручную. 3 н. и 17 з.п. ф-лы, 6 ил.

Способ и устройство для воспроизведения множества видео // 2619089

Изобретение относится к воспроизведению видео и, в частности, к способу и аппаратам для одновременного воспроизведения множества видео. Техническим результатом является обеспечение высокой производительности портативного терминала посредством одновременного воспроизведения множества видео без времени на буферизацию. Указанный технический результат достигается тем, что предложен способ воспроизведения множества видео в устройстве, содержащем первый декодер для декодирования видео и контроллер для управления декодером, который содержит определение контроллером, используется ли первый декодер, генерирование видеоклипов посредством декодирования видео контроллером в качестве второго декодера, если первый декодер используется, сохранение видеоклипов в запоминающем блоке и одновременное воспроизведение видеоклипов, сохраненных в запоминающем блоке, в ответ на обнаружение запроса на предварительный просмотр. 3 н. и 13 з.п. ф-лы, 6 ил.

Кодирование единиц nal sei для кодирования видео // 2619194

Изобретение относится к технологиям обработки данных видео. Техническим результатом является повышение эффективности кодирования/декодирования данных видео. Предложен способ декодирования данных видео. Способ содержит этап, на котором осуществляют декодирование значения типа единицы уровня абстракции сети, NAL, для единицы NAL дополнительной информации расширения, SEI, потока битов. При этом значение типа единицы NAL для единицы NAL SEI указывает, содержит ли единица NAL единицу NAL SEI префикса, включающую в себя сообщение SEI префикса, или единицу NAL SEI суффикса, включающую в себя сообщение SEI суффикса. Далее, осуществляют декодирование данных видео потока битов на основании того, является ли единица NAL SEI единицей NAL SEI префикса, при этом единицы NAL SEI префикса могут не следовать за последней единицей NAL уровня кодирования видео, VCL, в единице доступа в порядке декодирования. 6 н. и 8 з.п. ф-лы, 10 ил., 8 табл.