Способ и устройство управления воспроизведением видео- и аудиоданных

Авторы патента:

H04N21/234 - Передача изображений, например телевидение (измерения, испытания G01; системы для оригиналов рукописей например, пишущие телеграфные аппараты, которые рассматриваются в подклассе G08; накопление информации, основанное на относительном перемещении носителя записи и преобразователя G11B; кодирование; декодирование или преобразование кодов вообще H03M; радиовещание или регистрация использования радиосети H04H)

Владельцы патента RU 2507707:

ТЕНСЕНТ ТЕКНОЛОДЖИ (ШЭНЬЧЖЭНЬ) КОМПАНИ ЛИМИТЕД (CN)

Изобретение относится к сетевым технологиям связи, в частности к способу и устройству управления воспроизведением видео- и аудиоданных. Техническим результатом является снижение прерывистости воспроизведения видео- и аудиоданных. Указанный технический результат достигается тем, что предложен способ управления воспроизведением видео- и аудиоданных, включающий этапы: получают полную продолжительность воспроизведения видео- и аудиоданных из буфера; вычисляют разность по времени; разность по времени является разностью между текущим моментом времени и моментом приема последнего пакета видео- и аудиоданных; выполняют растягивание временной области для видео- и аудиоданных в буфере, если полная продолжительность и разность по времени соответствуют заданному условию, и воспроизводят обработанные видео- и аудиоданные. При этом сжатие временной области для видео- и аудиоданных в буфере выполняют, если определено, что упомянутая разность по времени меньше полной продолжительности воспроизведения видео- и аудиоданных из буфера, либо полная продолжительность воспроизведения видео- и аудиоданных из буфера превышает заданную максимальную продолжительность для буфера. 2 н. и 4 з.п. ф-лы, 4 ил.

Область изобретения

Настоящее изобретение относится к сетевым технологиям связи, в частности к способу и устройству управления воспроизведением видео- и аудиоданных.

Предпосылки к созданию изобретения

Развитие сети Интернет приводит к тому, что все большее число пользователей предпочитает общаться через Интернет. С появлением новых требований пользователей к средствам связи и дальнейшим развитием сети Интернет пользователи получили возможность общения через Интернет с использованием не только текстовых символов, но также видео- и аудиоданных.

В известном техническом решении передача данных по сети Интернет основана на Протоколе Управления Передачей/Интернет-Протоколе ПУП/ИП (TCP/IP), поэтому при передаче видео- и аудиоданных по сети Интернет необходимо разделить видео- и аудиоданные на множество пакетов данных согласно протоколу ПУП/ИП (TCP/IP) и передать множество пакетов данных по сети Интернет, используя кадр как элемент данных. Сложность сетевой структуры Интернет не позволяет эффективно управлять скоростью передачи пакетов данных по сети Интернет, поэтому сторона приема видео- и аудиоданных в некоторых случаях не может принимать видео- и аудиоданные в течение длительного интервала времени, что приводит к разъединению или эффекту прерывистости при восстановлении и воспроизведении видео- и аудиоданных, например, к прерывистости аудиосигнала, пропаданию звука при вызове, зависанию видеоизображения и так далее.

С целью устранения этой проблемы на стороне приема видео- и аудиоданных обычно конфигурируют буфер для хранения части видео- и аудиоданных; видео- и аудиоданные принимают из сети и затем декодируют и воспроизводят, так чтобы подавить вышеупомянутый эффект. Однако емкость буфера ограничена; если в буфер не поступят последующие видео- и аудиоданные после воспроизведения видео- и аудиоданных из буфера, то при воспроизведении видео- и аудиоданных проявится эффект прерывистости, ухудшающий пользовательское восприятие.

Сущность изобретения

Варианты осуществления изобретения предоставляют способ и устройство управления воспроизведением видео- и аудиоданных для подавления эффекта прерывистости при воспроизведении видео- и аудиоданных и для улучшения пользовательского восприятия.

Ниже объясняется реализация технических решений, предоставляемых вариантами осуществления изобретения.

Способ управления воспроизведением видео- и аудиоданных включает этапы: получают полную продолжительность воспроизведения видео- и аудиоданных из буфера;

вычисляют разность по времени; разность по времени является разностью между текущим моментом времени и моментом приема последних видео- и аудиоданных; и

выполняют растягивание временной области для видео- и аудиоданных в буфере, если полная продолжительность и разность по времени соответствуют заданному условию, и воспроизводят обработанные видео- и аудиоданные.

Устройство управления воспроизведением видео- и аудиоданных содержит:

блок получения, сконфигурированный для получения полной продолжительности воспроизведения видео- и аудиоданных, из буфера;

вычислительный блок, сконфигурированный для вычисления разности по времени; разность по времени является разностью между текущим моментом времени и моментом приема последнего пакета видео- и аудиоданных; и

блок обработки, сконфигурированный для выполнения растягивания временной области для видео- и аудиоданных в буфере, если полная продолжительность и разность по времени соответствуют заданному условию, и воспроизведения обработанных видео- и аудиоданных.

Как следует из приведенного выше описания технических решений, в вариантах осуществления изобретения производят сравнение разности по времени с заданным условием и выполняют растягивание временной области для видео- и аудиоданных согласно результату сравнения, что увеличивает полную продолжительность воспроизведения видео- и аудиоданных из буфера и улучшает пользовательское восприятие при воспроизведении видео- и аудиоданных, подавляя эффект прерывистости, возникающий в случае неполучения стороной приема пакета данных в течение длительного интервала времени.

Краткое описание чертежей

На фиг.1 показана блок-схема, представляющая способ управления воспроизведением видео- и аудиоданных согласно варианту осуществления изобретения.

На фиг.2 показана принципиальная схема, представляющая структуру устройства управления воспроизведением видео- и аудиоданных согласно варианту осуществления изобретения.

На фиг.3 показана принципиальная схема, представляющая обработку в процедуре управления воспроизведением согласно первому варианту осуществления изобретения.

На фиг.4 показана схема, представляющая обработку в процедуре управления воспроизведением согласно второму варианту осуществления изобретения.

Подробное описание изобретения

Для более ясного изложения цели, технического решения и преимуществ изобретения ниже представлено подробное описание изобретения со ссылками на прилагаемые чертежи и варианты его осуществления.

В вариантах осуществления изобретения, согласно кратковременной корреляции между аудиосигналами и с использованием алгоритма Наложения и Добавления по Сходству Формы Сигнала НДСФС (WSOLA), один сегмент аудиосигналов делят на более короткие диапазоны волн, затем производят наложение и объединение диапазонов волн для получения сигнала, имеющего требуемую продолжительность воспроизведения. Если продолжительность воспроизведения обработанных аудиосигналов больше продолжительности воспроизведения исходных аудиосигналов, что эквивалентно выполнению растягивания временной области для исходных аудиосигналов, то продолжительность воспроизведения исходных аудиосигналов увеличивается. Если продолжительность воспроизведения обработанных аудиосигналов меньше продолжительности воспроизведения исходных аудиосигналов, что эквивалентно выполнению сжатия временной области для исходных аудиосигналов, то продолжительность воспроизведения исходных аудиосигналов уменьшается.

На основе этого принципа, варианты осуществления изобретения предоставляют способ управления воспроизведением с самоадаптирующимся управлением скоростью воспроизведения, так чтобы компенсировать прерывистость приема пакетов в сети. В частности, если обнаруживается, что в течение длительного интервала времени не принимаются данные, то выполняется растягивание временной области для воспроизводимых данных, так чтобы увеличить продолжительность воспроизведения данных и, следовательно, устранить проблему прерывистости воспроизведения; если обнаруживается, что скорость приема сетевых данных слишком высокая, то выполняется сжатие временной области для воспроизводимых данных, так чтобы уменьшить продолжительность воспроизведения данных и, следовательно, устранить проблему прерывистости воспроизведения и проблему задержки. Способ обработки временной области изменяет только скорость воспроизведения, но не влияет на семантему и, следовательно, не сказывается на пользовательском восприятии.

Варианты осуществления изобретения предоставляют способ управления воспроизведением видео- и аудиоданных, показанный на фиг.1. Способ включает нижеперечисленные этапы.

Этап 11: получают полную продолжительность воспроизведения видео- и аудиоданных, которые могут быть воспроизведены из буфера.

На этом этапе режим получения полной продолжительности воспроизведения видео- и аудиоданных включает: получение, в одном процессе, полной продолжительности воспроизведения видео- и аудиоданных, которые могут быть воспроизведены из буфера, либо периодическое получение полной продолжительности воспроизведения видео- и аудиоданных из буфера. Варианты осуществления изобретения не накладывают ограничений на время и режим получения.

Этап 12: вычисляют разность по времени; причем разность по времени является разностью между текущим моментом времени и моментом приема последнего пакета видео- и аудиоданных.

Этап 13: сравнивают разность по времени с заданным условием, выполняют растягивание временной области для видео- и аудиоданных в буфере согласно результату сравнения, а также воспроизводят обработанные видео- и аудиоданные.

Способ растягивания временной области на этапе 13 включает:

выполнение растягивания временной области для видео- и аудиоданных в буфере, если определено, что разность по времени больше или равна полной продолжительности воспроизведения видео- и аудиоданных, которые могут быть воспроизведены из буфера, либо полная продолжительность воспроизведения видео- и аудиоданных, которые могут быть воспроизведены из буфера, меньше или равна заданной минимальной продолжительности для буфера; в противном случае, растягивание временной области не выполняют. Продолжительность воспроизведения видео- и аудиоданных, для которых выполняют растягивание временной области, превышает продолжительность воспроизведения исходных видео- и аудиоданных не более чем два раза. В реальных приложениях это превышение могут регулировать, например, устанавливают превышение в 1,5 раза, 2,5 раза или 3 раза, причем варианты осуществления изобретения не накладывают ограничений на эту регулировку.

Кроме того, когда выполняют растягивание временной области для видео- и аудиоданных в буфере, конфигурируют условие определения, а именно: если определено, что разность по времени больше или равна полной продолжительности воспроизведения видео- и аудиоданных, которые могут быть воспроизведены из буфера, либо полная продолжительность воспроизведения видео- и аудиоданных, которые могут быть воспроизведены из буфера, меньше или равна заданной минимальной продолжительности для буфера, то дополнительно определяют, меньше ли суммарная задержка видео- и аудиоданных, чем заданная максимальная суммарная задержка видео- и аудиоданных; если суммарная задержка видео- и аудиоданных меньше заданной максимальной суммарной задержки видео- и аудиоданных, то выполняют растягивание временной области для видео- и аудиоданных в буфере; в противном случае растягивание временной области не выполняют. В этом способе условие выполнения растягивания временной области ограничивают только тем случаем, когда суммарная задержка видео- и аудиоданных меньше заданной максимальной суммарной задержки видео- и аудиоданных, так чтобы не допустить чрезмерное растягивание временной области, приводящее к неограниченному увеличению суммарной задержки видео- и аудиоданных, а также обеспечить улучшение пользовательского восприятия.

Алгоритм растягивания или сжатия, используемый при выполнении растягивания или сжатия, включает: применительно к файлу аудиоданных, для выполнения растягивания или сжатия используют, в частности, алгоритм Синхронизированного Наложения и Добавления СНД (SOLA) и алгоритм Наложения и Добавления по Сходству Формы Сигнала НДСФС (WSOLA), а также некоторые усовершенствованные алгоритмы, основанные на этом типе алгоритмов; применительно к файлу видеоданных, для выполнения растягивания используют способ повторной вставки кадра, либо способ объединения двух смежных кадров в промежуточный кадр, а для выполнения сжатия используется способ пропуска видеокадра. Варианты осуществления изобретения не накладывают ограничений на алгоритм для реализации растягивания или сжатия файла видео- и аудиоданных. Степень растягивания или сжатия файла видео- и аудиоданных может устанавливать пользователь, и варианты осуществления изобретения не накладывают ограничений на эту установку.

Кроме того, на основе вышеуказанного определения растягивания, если в результате определения устанавливается, что растягивание выполняться не должно, то выполняется дальнейшее определение. Если определено, что разность по времени меньше полной продолжительности воспроизведения видео- и аудиоданных, которые могут быть воспроизведены из буфера, либо полная продолжительность воспроизведения видео- и аудиоданных, которые могут быть воспроизведены из буфера, больше заданной максимальной продолжительности для буфера, то выполняют сжатие временной области для видео- и аудиоданных в буфере; в противном случае сжатие временной области не выполняют. Продолжительность воспроизведения видео- и аудиоданных, для которых выполняется сжатие временной области, составляет не менее одной второй (1/2) от продолжительности воспроизведения исходных видео- и аудиоданных. В реальных приложениях это отношение могут регулировать, например, могут устанавливать отношение 1/3, 2/3 или 3/4, и варианты осуществления изобретения не накладывают ограничений на эту регулировку.

Выполнение сжатия временной области для видео- и аудиоданных в буфере позволяет уменьшить задержку воспроизведения видео- и аудиоданных, так чтобы улучшить пользовательское восприятие и обеспечить адаптивное воспроизведение видео- и аудиоданных стороной приема согласно состоянию приема видео- и аудиоданных.

Ниже приведено подробное описание способа управления воспроизведением видео- и аудиоданных, причем для примера выбраны аудиоданные.

Сначала конфигурируют следующие переменные:

Jpre - разность по времени между моментом приема последнего пакета аудиоданных и текущим моментом времени;

Lp - продолжительность воспроизведения аудиоданных, которые могут быть воспроизведены из буфера;

Dalg - суммарная задержка по алгоритму, то есть суммарное значение задержки воспроизведения, вызванной растягиванием и сжатием временной области;

Dmax - верхний предел суммарной задержки по алгоритму, то есть максимальное значение, которое может принимать переменная Dalg;

Lmin - нижний предел продолжительности воспроизведения аудиоданных из буфера;

Lmax - верхний предел продолжительности воспроизведения аудиоданных из буфера;

Lout - продолжительность воспроизведения аудиоданных, которые каждый раз извлекаются из буфера;

Lstretch - продолжительность, увеличенная вследствие растягивания;

Lcompact - продолжительность, уменьшенная вследствие сжатия.

Единицей измерения вышеуказанных значений продолжительности воспроизведения аудиоданных или времени является миллисекунда (мс).

На фиг.3 показана принципиальная схема, представляющая обработку в процедуре управления воспроизведением согласно первому варианту осуществления изобретения. Как показано на фиг.3, процедура управления воспроизведением состоит из нижеперечисленных этапов.

Этап 301: периодически извлекается и воспроизводится некоторый объем аудиоданных, обновляется Lp и Jpre, причем обновленное значение Lp=Lp до обновления - Lout, а Jpre= текущий момент времени - момент приема последнего аудиопакета; момент приема последнего аудиопакета обновляется каждый раз, когда происходит прием одного аудиопакета.

Этап 302: определяется, справедливо ли условие Jpre>=Lp или Lp<=Lmin; если Jpre>=Lp или Lp<=Lmin, то выполняется этап 304; в противном случае выполняется этап 303.

Этап 303: определяется, справедливо ли условие Jpre<Lp или Lp>Lmax; если Jpre<Lp или Lp>Lmax, то выполняется этап 305; в противном случае выполняется этап 301.

Этап 304: выполняется растягивание временной области для аудиоданных в буфере, обработанные аудиоданные сохраняются в буфере, обновляются Lp и Dalg, причем обновленное значение Lp=Lp до обновления + Lstretch, a обновленное значение Dalg=Dalg до обновления + Lstretch; затем происходит возврат к этапу 301.

Этап 305: выполняется сжатие временной области для аудиоданных в буфере, обработанные аудиоданные сохраняются в буфере, обновляются Lp и Dalg, причем обновленное значение Lp=Lp до обновления - Lcompact, a обновленное значение Dalg=Dalg до обновления - Lcompact; затем происходит возврат к этапу 301.

В вышеуказанном способе для переменной Lmin могут устанавливать различные значения в зависимости от конкретного приложения; в общем случае, Lmin>=3*Lout. Поскольку изначально данные в буфере могут отсутствовать, воспроизведение данных из буфера не может начаться, пока продолжительность воспроизведения данных из буфера не достигнет значения Lmin; следовательно, происходит некоторое увеличение задержки воспроизведения.

Значение Lmax может быть определено согласно размеру буфера в конкретных приложениях и с соблюдением основного условия: Lmax>Lmin.

Lstretch - продолжительность, увеличенная в результате растягивания; причем оптимальный эффект может быть достигнут, если эта продолжительность не превышает продолжительность воспроизведения исходных данных; разумеется, что продолжительность может быть определена согласно практическим требованиям.

Lcompact - продолжительность, уменьшенная в результате сжатия; причем оптимальный эффект может быть достигнут, если эта продолжительность не превышает одной второй (1/2) продолжительности воспроизведения исходных данных; разумеется, что продолжительность может быть определена согласно практическим требованиям.

В вышеуказанном способе управления воспроизведением переменная Lmin вводит постоянную задержку воспроизведения, увеличивающую фиксированную задержку воспроизведения. Выполнение растягивания временной области также вводит задержку, которая зависит от продолжительности, увеличивающейся при каждом выполнении растягивания, и увеличивает задержку воспроизведения. Выполнение сжатия временной области уменьшает задержку, которая зависит от продолжительности, уменьшающейся при каждом выполнении сжатия, и уменьшает задержку воспроизведения. Полная задержка воспроизведения может быть уменьшена путем выполнения сжатия временной области, так чтобы компенсировать задержку воспроизведения, вносимую переменной Lmin и выполнением растягивания.

Для того чтобы управлять задержкой, можно использовать суммарную задержку как одно из условий в алгоритме управления. Когда выполняют растягивание, анализируют переменная Dalg; если Dalg>=Dmax, растягивание не выполняют, чтобы избежать внесения большей задержки воспроизведения.

На фиг.4 показана принципиальная схема, представляющая обработку в процедуре управления воспроизведением согласно второму варианту осуществления изобретения. Как показано на фиг.4, процедура управления воспроизведением состоит из нижеперечисленных этапов.

Этап 401: извлекается и воспроизводится некоторый объем данных, обновляются Lp и Jpre.

Этап 402: определяется, справедливо ли условие Jpre>=Lp или Lp<=Lmin; если Jpre>=Lp или Lp<=Lmin, то выполняется этап 404; в противном случае выполняется этап 403.

Этап 403: определяется, справедливо ли условие Jpre<Lp, Lp>Lmax или Dalg>Dmax; если Jpre<Lp, или Lp>Lmax, или Dalg>Dmax, то выполняется этап 405; в противном случае выполняется этап 401.

Этап 404: определяется, справедливо ли условие Dalg>Dmax; если Dalg>Dmax, то выполняется этап 407; в противном случае выполняется этап 406.

Этап 405: выполняется сжатие временной области для данных в буфере, обработанные данные сохраняются в буфере, обновляются Lp и Dalg, затем происходит возврат к этапу 401.

Этап 406: выполняется растягивание временной области для данных в буфере, обработанные данные сохраняются в буфере, обновляются Lp и Dalg, затем происходит возврат к этапу 401.

Этап 407: согласно данным в предыдущем кадре, извлекается некоторый объем данных, данные сохраняются в буфере, обновляются Lp и Dalg, затем происходит возврат к этапу 401.

В двух вышеуказанных вариантах осуществления этап, на котором определяется, должно ли выполняться сжатие, не является обязательным; если не требуется управление полной задержкой воспроизведения, то этап, на котором определяется, должно ли выполняться сжатие, и этап, на котором выполняется сжатие, не являются обязательными, и этап 403 может не включать этап определения выполнения условия Dalg>Dmax.

Варианты осуществления изобретения также предоставляют устройство управления воспроизведением видео- и аудиоданных, показанное на фиг.2. Это устройство содержит: блок 21 получения, сконфигурированный для получения полной продолжительности воспроизведения видео- и аудиоданных, которые могут быть воспроизведены из буфера; вычислительный блок 22, сконфигурированный для вычисления разности по времени, являющейся разностью между текущим моментом времени и моментом приема последнего пакета видео- и аудиоданных; блок 23 обработки, сконфигурированный для сравнения разности по времени с заданным условием, для выполнения растягивания временной области для видео- и аудиоданных в буфере, а также для воспроизведения обработанных видео- и аудиоданных.

Предпочтительно, блок 23 обработки может содержать: модуль 231 определения буфера, сконфигурированный для определения соотношения разности по времени (больше или равна) и полной продолжительности воспроизведения видео- и аудиоданных, которые могут быть воспроизведены из буфера, либо соотношения полной продолжительности воспроизведения видео- и аудиоданных, которые могут быть воспроизведены из буфера, (меньше или равна) и заданной минимальной продолжительности для буфера; модуль 232 растягивания, сконфигурированный для выполнения растягивания временной области для видео- и аудиоданных в буфере в том случае, если результатом определения в модуле 231 определения буфера является "да", то есть, когда модуль 231 определения буфера обнаружил, что разность по времени больше или равна полной продолжительности воспроизведения видео- и аудиоданных, которые могут быть воспроизведены из буфера, либо полная продолжительность воспроизведения видео- и аудиоданных, которые могут быть воспроизведены из буфера, меньше или равна заданной минимальной продолжительности для буфера, а также для воспроизведения видео- и аудиоданных после растягивания временной области.

Предпочтительно, модуль 232 растягивания также может содержать: субмодуль 2321 растягивания, сконфигурированный для того, чтобы определить, меньше ли суммарная задержка видео- и аудиоданных, чем заданная максимальная суммарная задержка видео- и аудиоданных; модуль 232 растягивания также сконфигурирован для того, чтобы определить, при получении результата «да» в модуле 231 определения буфера, необходимо ли выполнение растягивания временной области для видео- и аудиоданных в буфере согласно результату определения в субмодуле 2321 растягивания, и для выполнения растягивания временной области для видео- и аудиоданных в буфере, когда результатом определения в субмодуле 2321 растягивания является "да", то есть когда субмодуль 2321 растягивания обнаружил, что суммарная задержка видео- и аудиоданных меньше заданной максимальной суммарной задержки видео- и аудиоданных; в противном случае растягивание временной области не выполняется; модуль 232 растягивания также может содержать субмодуль 2322 воспроизведения, сконфигурированный для воспроизведения видео- и аудиоданных после растягивания временной области.

Предпочтительно, блок 23 обработки также может содержать: модуль 233 определения сжатия и модуль 234 сжатия. Модуль 233 определения сжатия сконфигурирован для определения того, меньше ли разность по времени, чем полная продолжительность воспроизведения видео- и аудиоданных, которые могут быть воспроизведены из буфера, либо превышает ли полная продолжительность воспроизведения видео- и аудиоданных, которые могут быть воспроизведены из буфера, заданную максимальную продолжительность для буфера.

Модуль 234 сжатия сконфигурирован для выполнения сжатия временной области для видео- и аудиоданных в буфере при результате определения «да» в модуле 233 определения сжатия, то есть, когда модуль 233 определения сжатия обнаружил, что разность по времени меньше полной продолжительности воспроизведения видео- и аудиоданных, которые могут быть воспроизведены из буфера, либо полная продолжительность воспроизведения видео- и аудиоданных, которые могут быть воспроизведены из буфера, больше заданной максимальной продолжительности для буфера, а также для воспроизведения видео- и аудиоданных после сжатия временной области.

Предпочтительно, модуль 233 определения сжатия также сконфигурирован для определения того, меньше или равна суммарная задержка видео- и аудиоданных заданной максимальной суммарной задержки видео- и аудиоданных;

модуль 234 сжатия также сконфигурирован для выполнения сжатия временной области для видео- и аудиоданных в буфере при обнаружении модулем 233 определения сжатия того, что суммарная задержка видео- и аудиоданных меньше или равна заданной максимальной суммарной задержке видео- и аудиоданных.

Согласно устройству, предоставляемому вариантами осуществления изобретения, после того, как блок 21 получения получает полную продолжительность воспроизведения видео- и аудиоданных, которые могут быть воспроизведены из буфера, и вычислительный блок 22 вычисляет разность по времени, модуль 231 определения буфера определяет, больше или равна разность по времени полной продолжительности воспроизведения видео- и аудиоданных, которые могут быть воспроизведены из буфера, либо определяет, меньше или равна полная продолжительность воспроизведения видео- и аудиоданных, которые могут быть воспроизведены из буфера, заданной минимальной продолжительности для буфера; если результатом определения в модуле 231 определения буфера является "да", то модуль 232 растягивания выполняет растягивание временной области для видео- и аудиоданных в буфере, а также воспроизводит видео- и аудиоданные после растягивания временной области. При использовании этого устройства увеличивается продолжительность воспроизведения видео- и аудиоданных из буфера, что увеличивает емкость буфера без увеличения размера буфера и предоставляет большее время для приема других пакетов видео- и аудиоданных стороной приема, а также обеспечивает подавление эффекта прерывистости, возникающего в случае неполучения стороной приема пакета данных в течение длительного интервала времени при воспроизведении видео- и аудиоданных. При использовании этого устройства, если модуль 231 определения буфера обнаруживает, что разность по времени меньше полной продолжительности воспроизведения видео- и аудиоданных, которые могут быть воспроизведены из буфера, либо полная продолжительность воспроизведения видео- и аудиоданных, которые могут быть воспроизведены из буфера, больше заданной максимальной продолжительности для буфера, то модуль 234 сжатия выполняет сжатие временной области для видео- и аудиоданных в буфере, а также воспроизводит видео- и аудиоданные после сжатия временной области, так чтобы уменьшить задержку воспроизведения видео- и аудиоданных, улучшить пользовательское восприятие и обеспечить адаптивное воспроизведение видео- и аудиоданных.

Специалистам в данной области техники понятно, что все или отдельные этапы в способе, предоставленном в вариантах осуществления изобретения, могут реализовываться программой, отправляющей инструкции в соответствующие аппаратные средства; эта программа может быть сохранена в считываемой памяти компьютера, и вышеуказанные этапы способа исполняются в ходе работы программы. Память может представлять собой Постоянное Запоминающее Устройство ПЗУ (ROM)/Оперативное Запоминающее Устройство ОЗУ (RAM), диск, Компакт-Диск КД (CD) и так далее.

Резюмируя вышеизложенное: преимуществом технического решения, предоставленного вариантами осуществления изобретения, является адаптивное воспроизведение файла данных.

Вышеизложенное соответствует только предпочтительным вариантам осуществления изобретения и не должно использоваться для ограничения объема патентной защиты изобретения. Все модификации, эквивалентные замены и усовершенствования, не выходящие за рамки изобретения, должны входить в объем патентной защиты изобретения. Следовательно, объем патентной защиты изобретения должен определяться согласно формуле изобретения.

1. Способ управления воспроизведением видео- и аудиоданных, включающий этапы, на которых:
получают полную продолжительность воспроизведения видео- и аудиоданных из буфера;
вычисляют разность по времени, являющуюся разностью между текущим моментом времени и моментом приема последних видео- и аудиоданных;
определяют, является ли упомянутая разность по времени большей или равной полной продолжительности воспроизведения видео- и аудиоданных из буфера, и является ли полная продолжительность воспроизведения видео- и аудиоданных из буфера меньшей или равной заданной минимальной продолжительности для буфера;
определяют, меньше ли суммарная задержка видео- и аудиоданных, чем заданная максимальная суммарная задержка;
выполняют растягивание временной области для видео- и аудиоданных в буфере, если упомянутая разность по времени больше или равна полной продолжительности воспроизведения видео- и аудиоданных из буфера, либо полная продолжительность воспроизведения видео- и аудиоданных из буфера меньше или равна заданной минимальной продолжительности для буфера, и если суммарная задержка видео- и аудиоданных меньше заданной максимальной суммарной задержки; и
воспроизводят обработанные видео- и аудиоданные.

2. Способ по п.1, дополнительно включающий этап, на котором:
выполняют сжатие временной области для видео- и аудиоданных в буфере, если определено, что упомянутая разность по времени меньше полной продолжительности воспроизведения видео- и аудиоданных из буфера, либо полная продолжительность воспроизведения видео- и аудиоданных из буфера превышает заданную максимальную продолжительность для буфера.

3. Способ по п.2, дополнительно включающий этап, на котором:
выполняют сжатие временной области для видео- и аудиоданных в буфере, если определено, что суммарная задержка видео- и аудиоданных превышает заданную максимальную суммарную задержку.

4. Устройство управления воспроизведением видео- и аудиоданных, содержащее:
блок получения, сконфигурированный для получения полной продолжительности воспроизведения видео- и аудиоданных из буфера;
вычислительный блок, сконфигурированный для вычисления разности по времени, являющейся разностью между текущим моментом времени и моментом приема последнего пакета видео- и аудиоданных; и
блок обработки, сконфигурированный для выполнения растягивания временной области для видео- и аудиоданных в буфере, если упомянутые полная продолжительность и разность по времени соответствуют заданному условию, и для воспроизведения обработанных видео- и аудиоданных;
причем в состав блока обработки входят:
модуль определения буфера, сконфигурированный для определения, является ли упомянутая разность по времени большей или равной полной продолжительности воспроизведения видео- и аудиоданных из буфера, и является ли полная продолжительность воспроизведения видео- и аудиоданных из буфера меньшей или равной заданной минимальной продолжительности для буфера;
модуль растягивания, сконфигурированный для определения, меньше ли суммарная задержка видео- и аудиоданных, чем заданная максимальная суммарная задержка, и выполнения растягивания временной области для видео- и аудиоданных в буфере, если модуль определения буфера определил, что упомянутая разность по времени больше или равна полной продолжительности воспроизведения видео- и аудиоданных из буфера, либо полная продолжительность воспроизведения видео- и аудиоданных из буфера меньше или равна заданной минимальной продолжительности для буфера, и если суммарная задержка видео- и аудиоданных меньше заданной максимальной суммарной задержки, а также для воспроизведения видео- и аудиоданных после растягивания временной области.

5. Устройство по п.4, в котором в состав блока обработки также входят:
модуль определения сжатия, сконфигурированный для определения того, меньше ли упомянутая разность по времени полной продолжительности воспроизведения видео- и аудиоданных из буфера и больше ли полная продолжительность воспроизведения видео- и аудиоданных из буфера заданной максимальной продолжительности для буфера; и модуль сжатия, сконфигурированный для выполнения сжатия временной области для видео- и аудиоданных в буфере, если модуль определения сжатия определил, что упомянутая разность по времени меньше полной продолжительности воспроизведения видео- и аудиоданных из буфера, либо полная продолжительность воспроизведения видео- и аудиоданных из буфера превышает заданную максимальную продолжительность для буфера, а также для воспроизведения видео- и аудиоданных после сжатия временной области.

6. Устройство по п.5, в котором модуль определения сжатия также сконфигурирован для определения того, превышает ли суммарная задержка видео- и аудиоданных заданную максимальную суммарную задержку; и модуль сжатия также сконфигурирован для выполнения сжатия временной области для видео- и аудиоданных в буфере, если модуль определения сжатия определил, что суммарная задержка видео- и аудиоданных превышает заданную максимальную суммарную задержку.

Изобретение относится к области систем обработки данных, которые улучшают способность пользователей манипулировать аудио- и видеоносителями. Технический результат заключается в уменьшении времени ожидании отклика веб-страницы.

Предоставление услуг с помощью данных на диске blu-ray // 2506716

Предложены способ предоставления услуги «видео по запросу» (VOD) с помощью плеера диска Blu-ray и машиночитаемый носитель с программой для осуществления такого способа.

Передача изменяющегося визуального контента // 2506715

Изобретение относится к передаче изменяющегося видеоконтента в сеансе терминального сервера. Техническим результатом является повышение эффективности передачи и снижение объема данных, формирующих видеоконтент.

Кодер изображения и декодер изображения, способ кодирования изображения и способ декодирования изображения // 2506714

Изобретение относится к вычислительной технике. Технический результат заключается в повышении оптимальности кодирования сигнала движущегося изображения.

Устройство и способ обработки изображения // 2506713

Изобретение относится к вычислительной технике. Технический результат заключается в обеспечении компенсации движения с высокой точностью.

Способ межкадрового прогнозирования для кодирования многоракурсной видеопоследовательности // 2506712

Изобретение относится к вычислительной технике. Технический результат заключается в уменьшении объема служебной информации в области сжатия многоракурсных видеопоследовательностей с картами глубин.

Способ и устройство обработки изображения // 2506711

Изобретение относится к вычислительной технике. Технический результат заключается в формировании прогнозируемого изображения с высокой точностью без увеличения процессорной нагрузки.

Способ моделирования информации кодирования видеосигнала для компрессии/декомпрессии информации кодирования // 2506710

Изобретение относится к способу моделирования информации кодирования видеосигнала для компрессии (сжатия) информации кодирования или декомпрессии (восстановления) сжатой информации масштабируемым видеокодеком (SVC).

Основанная на фрагментах система и способ сжатия видео // 2506709

Изобретение относится к области систем обработки данных. Техническим результатом является сокращение времени ожидания при исполнении видеоигр или приложений.

Способ и устройство для беспроводного распространения мультиплексного сигнала, содержащего мультимедийные данные, по локальной сети // 2505939

Изобретение относится к области цифровой связи, в частности для обеспечения серверу широковещания возможности предоставлять доступ среди устройств беспроводной связи.

Способ декодирования видеосигнала // 2508608

Изобретение относится к способу кодирования/декодирования видеосигнала. Техническим результатом является обеспечение эффективного декодирования видеосигнала. Указанный технический результат достигается тем, что способ декодирования видеосигнала, основанный на масштабируемости с точной детализацией (FGS), включает в себя получение информации идентификации изображения, указывающей эталонное изображение текущего блока, и декодирование текущего блока с использованием эталонного изображения. Эталонное изображение базового уровня и соответствующее ему эталонное изображение уровня повышенного качества имеют одинаковую информацию идентификации изображения, при этом информация идентификации изображения включает по меньшей мере одну из информации номера кадра, указывающую порядок декодирования, информации номера изображения для идентификации изображения и информации ссылочного индекса. Поэтому можно минимизировать проблему, которая при осуществлении процедуры декодирования видеосигнала обусловлена ошибкой передачи. 2 н. и 2 з.п. ф-лы, 9 ил.

Медиаданные с множеством изображений // 2508609

Изобретение относится к медиаданным с множеством изображений и, в частности, к генерированию и обработке таких медиаданных с множеством изображений (Multi-View Video). Техническим результатом является более эффективная обработки медиаданных с множеством изображений, например, в связи с избирательным удалением, рендерингом и/или применением защиты медиаданных с множеством изображений. Указанный технический результат достигается тем, что генерируются медиаданные с множеством изображений посредством предоставления закодированных медиаданных, представляющих множественные медиа изображения медиаконтента. Каждое из медиа изображений связывается со структурным идентификатором приоритета, указывающим взаимоотношения кодирования медиаданных относительно медиаданных, по меньшей мере, одного другого медиа изображения. Определяется идентификатор приоритета контента для, предпочтительно, каждого медиа изображения. Идентификатор приоритета контента, в отличие от структурного идентификатора приоритета, указывает уровень значимости рендеринга медиаданных медиа изображения. 5 н. и 16 з.п. ф-лы, 14 ил., 3 табл.

Способ групповой передачи видов интерактивного потокового видео в реальном времени // 2509419

Изобретение относится к области систем обработки данных, которые улучшают способность пользователей манипулировать аудио- и видеоносителями и подключаться к ним. Техническим результатом является обеспечение малого времени ожидания для множества клиентских устройств при исполнении твич видеоигр или приложений реального времени на серверах в центре службы хостинга. Способ потоковой передачи интерактивного видео включает в себя исполнение твич видеоигр или приложений реального времени на серверах в центре службы хостинга, формирование, посредством центра службы хостинга, сжатых потоков интерактивного видео в результате исполнения твич видеоигр или приложений реального времени и передачу сжатых множественных копий через выходной интерфейс Интернет-трафика центра службы хостинга одного конкретного из сжатых потоков интерактивного видео множеству клиентских устройств. При этом один конкретный из сжатых потоков интерактивного видео сжат с наихудшим временем ожидания сигнала туда и обратно от управляющего ввода пользователя, для отображения ответа на управляющий ввод пользователя на клиентском устройстве, в 90 мс на расстояние передачи до 2414 км. 2 н. и 7 з.п. ф-лы, 40 ил.

Способ формирования целочисленных ортогональных декоррелирующих матриц заданных размеров для прямого и обратного декоррелирующего преобразования видеоизображений и устройство для его осуществления // 2509437

Изобретение относится к вычислительной технике. Технический результат заключается в обеспечении возможности прямой и обратной декорреляции цифровых видеоизображений при сжатии, восстановлении и передаче по каналам связи с минимальной вычислительной сложностью. Способ формирования целочисленных ортогональных декоррелирующих матриц заданных размеров для прямого и обратного декоррелирующего преобразования видеоизображений включает выбор порождающей матрицы, последующее формирование матриц заданного размера и их запоминание, причем в качестве порождающей матрицы выбирают целочисленную ортогональную матрицу Адамара размером 2×2, а при формировании матриц заданного размера последовательно до получения требуемой матрицы формируют матрицы размерами, на единицу большими предыдущей, причем знаки всех элементов первой строки текущей матрицы меняют на противоположные, при этом слева от верхней строки полученной матрицы вводят новый целочисленный элемент, значение которого равно количеству расположенных в его же строке справа от него элементов, причем над верхней строкой полученной матрицы вводят новую строку, размер которой на единицу превышает размер строки исходной матрицы и все элементы которой имеют единичные значения, при этом недостающие элементы формируемой матрицы представляют в виде нулей. 2 н.п. ф-лы, 1 ил., 2 прил.

Устройство кодирования изображений, устройство декодирования изображений, способ кодирования изображений и способ декодирования изображений // 2509438

Изобретение относится к вычислительной технике, а именно к устройству и способу декодирования изображений. Техническим результатом является повышение эффективности декодирования информации. Устройство декодирования изображений принимает кодированный с прогнозированием поток битов, который создается посредством разделения каждого кадра сигнала движущегося изображения на опорные блоки заданного размера. Устройство осуществляет декодирование потока битов для получения сигнала движущихся изображений. Устройство содержит модуль декодирования для декодирования потока битов для получения информации, указывающей заданный размер. Устройство также работает в режиме прогнозирования движения и определяет вектор движения для каждого из опорных блоков или для каждого из единичных блоков прогнозирования движения, определенных как блоки, получаемые иерархическим разделением опорных блоков. Режим прогнозирования движения определяет процедуру прогнозирования движения для единичных блоков прогнозирования движения. 2 н.п. ф-лы, 26 ил.

Способ и устройство кодирования и декодирования, сигнал, носитель данных и продукты компьютерной программы // 2509439

Изобретение относится к вычислительной технике. Технический результат заключается в обеспечении эффективного качества прогноза. Способ кодирования последовательности изображений содержит стадию кодирования, по меньшей мере, одного блока текущего изображения последовательности, осуществляя прогноз, связывающий указанный блок, по меньшей мере, с одним соответствующим блоком в опорном изображении, причем указанный прогноз содержит следующие стадии, по меньшей мере, для одного данного блока текущего изображения или опорного изображения: определение множества векторов управления для блока, причем каждый из указанных векторов управления определяют с учетом движения указанного блока и, по меньшей мере, одного флажка соединения, представляющего движение между указанным блоком и, по меньшей мере, одним соседним блоком в указанных опорном и текущем изображениях; по меньшей мере, одно разбиение блока на подблоки; определение множества векторов управления для подблоков; определение величины прогноза, по меньшей мере, для одной точки текущего изображения. Кроме того, способ содержит стадию вставки в сигнал, представляющий последовательность, информации о восстановлении векторов управления для данного блока. 8 н. и 5 з.п. ф-лы, 15 ил.

Многовидовое видео кодирование в системах мреg-2 // 2509440

Изобретение относится к области передачи кодированных видео данных для усовершенствования многовидового видеокодирования (MVC) в системах MPEG-2 (Экспертная группа по движущимся изображениям). Техническим результатом является обеспечение возможности устройству приема, после приема потока транспортного уровня, содержащего множество подпотоков битов, каждый из которых имеет непоследовательные виды, переупорядочивать виды в подпотоках битов таким образом, что транспортный поток упорядочивается должным образом, то есть в возрастающем порядке с точки зрения порядковых индексов видов, так что декодер может должным образом декодировать кадры каждого из видов. Указанный технический результат достигается тем, что устройство содержит видеокодер, который кодирует множество видов сцены, мультиплексор, который формирует структуру данных для сигнализации, что соответствующий поток битов стандарта MPEG-2 содержит первый вид сцены, ассоциированный с первым порядковым индексом вида, и второй вид сцены, ассоциированный со вторым порядковым индексом вида, причем первый порядковый индекс вида и второй порядковый индекс вида являются непоследовательными, и выходной интерфейс для вывода структуры данных. 4 н. и 28 з.п. ф-лы, 7 табл., 8 ил.

Способ сжатия цифровых изображений с использованием фиксированного числа битов в блоке // 2510079

Изобретение относится к вычислительной технике. Технический результат заключается в сжатии без визуальных потерь. Способ сжатия изображений, программируемый в контроллере устройства, в котором разбивают изображение на один или более блоков; и применяют гамма-преобразование к каждому пикселю изображения для выработки данных с одинаковым числом битов; вычисляют значения предсказания для каждого пикселя в каждом блоке из одного или более блоков с использованием множества режимов предсказания; применяют квантование к каждому пикселю каждого блока из одного или более блоков с использованием множества чисел квантования; вычисляют дифференциальную импульсно-кодовую модуляцию (ДИКМ) для выработки остатков квантованных значений для каждого из множества чисел квантования, при этом число битов, вырабатываемых для каждого блока из одного или более блоков, равно бюджету битов; вычисляют импульсно-кодовую модуляцию (ИКМ), включающую в себя сдвиг каждого значения пикселя на фиксированное число битов; выбирают для каждого блока из указанного одного или более блоков ДИКМ с числом квантования, при котором достигается наилучшая точность кодирования; выбирают способ кодирования из ДИКМ с указанным числом квантования и ИКМ; и вырабатывают битовый поток, содержащий данные, кодированные выбранным способом кодирования. 3 н. и 11 з.п. ф-лы, 17 ил.

Способ обработки цифрового файла, в частности, типа изображения, видео и/или аудио // 2510150

Изобретение относится к области техники обработки и сжатия цифрового файла, в частности, типа изображения, видео и/или аудио. Техническим результатом является обеспечение высокого качества и меньшего сжатия цифрового файла. Указанный технический результат достигается тем, что предложен способ обработки цифрового файла типа изображений, видео и/или аудио, который содержит фазу для размещения в строку на каждый цветовой слой и/или на каждый аудиоканал цифровых данных любого файла аудио, изображения и видео, фазу сжатия, использующую алгоритм, в котором каждое сжатое значение VCn положения N получается посредством вычитания из значения Vn этого же положения N исходного файла предварительно определенного количества последовательных сжатых значений (VCn-1, VCn-2, …), вычисленных предварительно, и фазу восстановления, использующую алгоритм, в котором каждое восстановленное значение VDn положения N получается посредством добавления к значению VCn этого же положения сжатого файла предварительно определенного количества последовательных сжатых значений (VCn-1 VCn-2, …). 6 з.п. ф-лы, 7 ил.

Кодирующее устройство, способ кодирования, носитель записи и программа для него и декодирующее устройство, способ декодирования, носитель записи и программа для него // 2510151

Изобретение относится к декодирующему устройству данных высококачественного изображения. Техническим результатом является декодирование данных последовательных изображений, закодированных в верхнем уровне, и данных чересстрочных изображений, закодированных в нижнем уровне. Предложено декодирующее устройство, содержащее: первый блок декодирования, выполненный с возможностью декодирования вторых кодированных данных и генерирования прогнозной картинки; блок обработки дискретизации с повышенной частотой, выполненный с возможностью дискретизации с повышенной частотой первых прогнозных данных изображения, сгенерированных первым блоком декодирования, для генерирования первых данных прогнозного изображения, дискретизированных с повышенной частотой; второй блок обработки дискретизации с повышенной частотой, выполненный с возможностью дискретизации с повышенной частотой данных прогнозного изображения, сгенерированных первым блоком декодирования, для генерирования вторых данных прогнозного изображения, дискретизированных с повышенной частотой; блок выбора, выполненный с возможностью выбора первых данных прогнозного изображения или вторых данных прогнозного изображения, согласно данным флага в качестве данных прогнозного изображения, для прогнозирования данных последовательных изображений, и второй блок декодирования, выполненный с возможностью декодирования первых кодированных данных, с использованием данных прогнозного изображения, выбранных блоком выбора. 2 н.п. ф-лы, 22 ил., 2 табл.