Способ и устройство для передачи и приема мультимедийных данных

 

Заявлены устройство и способ для передачи/приема мультимедийных данных, включающих в себя видеоданные, с помощью пакета для радиосвязи в системе радиопередачи/приема. Способ включает этап выполнения защиты от ошибок путем контроля по нечетности в отношении одного исходного пакета или множества исходных пакетов. Согласно настоящему изобретению устойчивость по отношению к ошибкам мультимедийных данных (особенно видеоданных) может быть увеличена посредством защиты от ошибок путем контроля по нечетности в отношении исходных пакетов без изменения набора протоколов передачи/приема в обычной сети передачи пакетов данных, таких как протокол Н.323, что является техническим результатом. 5 с. и 12 з.п. ф-лы, 8 ил.

Область техники Изобретение относится к системе радиопередачи и радиоприема, а более конкретно к устройству и способу для передачи и приема мультимедийных данных, включающих в себя видеоданные, посредством пакета радиосвязи в системе радиопередачи и радиоприема.

Предшествующий уровень техники В общем случае протокол Н.323 является предпочтительным протоколом сектора телекоммуникаций Международного союза электросвязи (ITU-T) для видео- конференцсвязи в среде связи, в которой качество обслуживания не гарантировано, таким как протокол TCP/IP (протокол управления передачей в сети Интернет/Интернет) и протокол UDP (протокол пользовательских дейтаграмм).

Как показано на фиг.1, формирователь 110 пакетов видеоданных и формирователь 120 пакетов аудиоданных выполняют кодирование источника и создают пакеты видео- и аудиоданных. На уровне 130 протокола RTP передачи в реальном масштабе времени в пакеты видео- и аудиоданных помещается временная метка и формируется пакет RTP путем объединения пакетов видео- и аудиоданных, которые сформированы в формирователе 110 пакетов видеоданных и формирователе 120 пакетов аудиоданных соответственно. На уровне 130 RTP обеспечиваются такие функции, как идентификация типа данных, проверка порядковых номеров, передача внутренних временных меток и контроль передачи данных. Заголовок уровня 130 RTP, как показано на фиг.2, включает в себя поле смешанных данных (СД), поле порядкового номера, поле временной метки, идентификатор источника синхронизации (ИИС) и идентификатор содействующего источника (ИСИ). Поле СД - 16-разрядное поле, включающее в себя версию, дополнение, расширение, номер ИСИ, маркер и полезную информацию. На уровне 160 протокола UDP пользовательских дейтаграмм пакет RTP, сформированный на уровне 130 RTP, смешивается с управляющим сигналом протокола Н.225, генерированным блоком 140 управления протокола Н.225. На уровне 170 протокола TCP управления передачей формируется пакет TCP, который должен повторно передаваться с использованием сигнала управления протокола Н.225 с блока 140 управления протокола Н.225, и сигнала управления средой передачи данных протокола Н.245 с блока 150 управления протокола Н.245. На уровне 180 протокола IP Интернет формируется пакет IP с использованием пакета протокола UDP, сформированного на уровне 160 протокола UDP, и пакета TCP, сформированного на уровне 170 протокола TCP.

Однако в протоколе Н.323, показанном на фиг.1, отсутствуют устойчивые к ошибкам уровни между формирователем пакетов источника, образованным формирователем 110 пакетов видеоданных и формирователем 120 пакетов аудиоданных и уровнем 130 RTP, и заголовок на уровне 130 RTP имеет структуру, показанную на фиг.2.

В результате, в отсутствие средства защиты от ошибок, т.е. надежности в формирователе пакетов источника (или на уровне кодирования-декодирования источника), может происходить потеря пакета в среде передачи данных с ошибками, такой как среда радиосвязи.

Обычная схема прямой коррекции ошибок (ПКО), такая как сверточное кодирование и кодирование Боуза-Чоудхури-Хокенгема (БЧХ), осуществляется только на физическом уровне, и из-за сложности схему ПКО трудно осуществлять на уровнях, находящихся ниже уровня RTP.

Сущность изобретения Чтобы решить вышеупомянутые проблемы, задачей настоящего изобретения является создание способа передачи и приема мультимедийных данных, в котором устойчивость к ошибкам может быть улучшена за счет защиты от ошибок путем проверки по нечетности в отношении исходных пакетов.

Другой задачей настоящего изобретения является создание устройства для передачи и приема мультимедийных данных, в котором осуществлен способ передачи и приема мультимедийных данных.

Указанная задача, согласно одному из аспектов настоящего изобретения, решается в способе передачи мультимедийных данных в системе передачи и приема мультимедийных данных в беспроводной сети передачи пакетных данных. Способ содержит следующие этапы: (а) пакетирование исходных данных; (b) выполнение защиты от ошибок путем проверки по нечетности в отношении одного исходного пакета или множества исходных пакетов, пакетированных на этапе (а).

Предпочтительно к одному пакету или к множеству исходных пакетов на этапе (b) добавляют информацию избыточности.

Предпочтительно информацию избыточности добавляют к части одного пакета или к множеству исходных пакетов на этапе (b).

Предпочтительно информацию избыточности добавляют к одной части или множеству частей одного исходного пакета или множества исходных пакетов на этапе (b).

Указанная задача согласно другому аспекту настоящего изобретения решается в способе передачи мультимедийных данных в системе передачи или/и приема мультимедийных данных в беспроводной сети передачи пакетных данных. Способ содержит следующие этапы: (а) пакетирование исходных данных; (b) формирование пакета протокола RTP полезной информации, которая является защищенной от ошибок путем проверки по нечетности в отношении одного исходного пакета или множества исходных пакетов, пакетированных на этапе (а), и произвольного заголовка протокола RTP.

Указанная задача согласно еще одному аспекту настоящего изобретения решается в способе приема мультимедийных данных в системе приема мультимедийных данных для приема пакета протокола RTP, к которому добавляется пакет защиты от ошибок, который является защищенным от ошибок путем проверки по нечетности в отношении одного исходного пакета или множества исходных пакетов. Способ содержит следующие этапы: (а) прием пакета протокола RTP посредством предварительно определенного протокола передачи в беспроводной сети передачи пакетных данных и проверка номера принятого пакета протокола RTP; (b) обращение к типу полезной информации в заголовке пакета протокола RTP, принятого на этапе (а), и определение номера пакета протокола RTP, используемого для кодирования, обеспечивающего защиту от ошибок, когда пакет протокола RTP соответствует пакету защиты от ошибок; (с) определение номера потерянного пакета путем сравнения номера пакета протокола RTP, проверенного на этапе (а), с номером пакета протокола RTP, определенного на этапе (b); (d) восстановление непринятого пакета протокола RTP с помощью обращения к номеру потерянного пакета, обнаруженного на этапе (с).

Указанная выше другая задача согласно одному из аспекту настоящего изобретения решается в устройстве для передачи мультимедийных данных в системе передачи или/и приема мультимедийных данных в беспроводной сети передачи пакетов данных. Устройство включает в себя модуль пакетирования источника для пакетирования мультимедийных данных, модуль уровня протокола RTP для вставки временной метки в пакеты мультимедийных данных и для формирования пакета протокола RTP путем объединения пакетов мультимедийных данных, сформированных в модуле пакетирования источника, и модуль защиты от ошибок путем добавления информации нечетной избыточности к одному пакету мультимедийных данных или множеству пакетов мультимедийных данных, которые пакетируются между модулем пакетирования источника и модулем уровня RTP или в модуле уровня RTP.

Указанная другая задача согласно другому аспекту настоящего изобретения решается в устройстве для приема мультимедийных данных в системе приема мультимедийных данных для приема пакета протокола RTP, к которому добавлена информация избыточности для защиты от ошибок одного исходного пакета или множества исходных пакетов. Устройство включает в себя средство для приема пакета мультимедийных данных протокола RTP посредством предварительно определенного протокола передачи в беспроводной сети передачи пакетов данных и средство для исправления битовой ошибки, возникающей в канале, на основе информации избыточности, которая добавлена до нечетности к принятому пакету мультимедийных данных протокола RTP.

Краткое описание чертежей Фиг.1 - детальная функциональная схема протокола Н.323; Фиг. 2 - структурная схема заголовка протокола RTP передачи в реальном масштабе времени по фиг.1; Фиг. 3 - структура протокола для передачи мультимедийных данных согласно настоящему изобретению; Фиг. 4 - последовательность операций, иллюстрирующая способ для передачи мультимедийных данных согласно настоящему изобретению; Фиг. 5А-5С - варианты осуществления способа защиты от ошибок путем проверки по нечетности согласно настоящему изобретению; Фиг. 6А-6D - схемы формата пакетов прямой коррекции ошибок (ПКО) по фиг. 5А-5С;
Фиг. 7 - последовательность операций, иллюстрирующая способ приема мультимедийных данных согласно настоящему изобретению;
Фиг. 8 - система связи, в которой осуществлен способ приема мультимедийных данных согласно настоящему изобретению.

Предпочтительный вариант осуществления изобретения
Как показано на фиг.3, протокол для передачи новых мультимедийных данных помещает первый уровень 330 защиты от ошибок и второй уровень 340 защиты от ошибок соответственно между формирователем пакетов источника, включающем в себя обычные формирователь 310 пакетов видеоданных и формирователь 320 пакетов аудиоданных, и уровнем 350 протокола RTP передачи в реальном масштабе времени.

Первый уровень 330 защиты от ошибок и второй уровень 340 защиты от ошибок формируют пакет прямой коррекции ошибок (ПКО) как результат выполнения защиты от ошибок с помощью проверки по нечетности в отношении одного формирователя пакетов видео- или аудиоданных или множества формирователей пакетов видео- или аудиоданных, которые пакетируются в формирователе 310 пакетов видеоданных и формирователе 320 пакетов аудиоданных.

Как показано на фиг.4, сначала формирователь 310 пакетов видеоданных и формирователь 320 пакетов аудиоданных формируют пакеты видео- и аудиоданных соответственно (этап 410).

Затем первый и второй уровни 330 и 340 защиты от ошибок выполняют защиту от ошибок с помощью проверки по нечетности для сформированных пакетов видео- и аудиоданных (этап 420). То есть пакет ПКО защиты от ошибок добавляется к номеру (N) пакетов видео- и аудиоданных.

Затем на уровне 350 протокола RTP временная метка помещается в каждый пакет и создается один пакет протокола RTP с помощью объединения пакетов видео- и аудиоданных (этап 430).

В другом предпочтительном варианте осуществления протокол для передачи новых мультимедийных данных может добавлять пакет ПКО, который защищен от ошибок за счет проверки по нечетности в отношении исходных пакетов, к верхнему уровню по отношению к уровню протокола RTP, причем на уровне протокола RTP пакет RTP может быть сформирован из полезной информации, и к нему добавляется пакет ПКО, который является защищенным от ошибок за счет проверки по нечетности в отношении произвольного заголовка RTP и исходных пакетов.

Как показано на фиг.5А, когда номера (N) пакетов видео- и аудиоданных (пакет 1, пакет 2, пакет 3 и пакет 4) объединяются друг с другом и формируется пакет протокола RTP, пакет ПКО, который соответствует избыточности длины L, добавляется к пакету протокола RTP для защиты от ошибок в отношении всех пакетов (пакет 1, пакет 2, пакет 3 и пакет 4).

N и L зависят от системы, и избыточность может быть реализована побитовой логической операцией "исключающее ИЛИ" или кодированием с помощью кода Рида-Соломона соответственно для обнаружения ошибок или защиты от ошибок.

Как показано на фиг.5В, когда номера (N) пакетов видео- и аудиоданных (пакет 1, пакет 2, пакет 3 и пакет 4) объединяются друг с другом и создается пакет протокола RTP, пакет ПКО, который соответствует избыточности длины L, добавляется к пакету протокола RTP относительно важной части, например информации заголовка, вместо защиты от ошибок по отношению ко всем пакетам (пакет 1, пакет 2, пакет 3 и пакет 4).

Как показано на фиг.5С, когда номера (N) (N1+N2) пакетов видео- и аудиоданных (пакет 1, пакет 2, пакет 3 и пакет 4) объединяются друг с другом и формируются как пакет протокола RTP, пакет 1 ПКО и пакет 2 ПКО, которые соответствуют избыточности длиной L1 и L2, добавляются к пакету протокола RTP по отношению к разделенным частям по одному пакету (пакет 1, пакет 2, пакет 3 и пакет 4) или множеству пакетов N1 и N2. N1, N2, L1 и L2 зависят от системы. Также, разделенными частями могут быть группы информации заголовка и вектора данных движения, когда разделение данных используется в видеоданных формата MPEG-4 и Н.263.

В еще одном предпочтительном варианте осуществления, когда номера (N) видео- и аудиопакетов данных (пакет 1, пакет 2, пакет 3 и пакет 4) объединяются друг с другом и создается пакет протокола RTP, информация избыточности может быть добавлена иным образом к пакету протокола RTP относительно синтаксиса, имеющего различную важность, одного исходного пакета или множества исходных пакетов.

Когда сформированный пакет протокола RTP декодируется, получатель может исправить битовую ошибку, возникшую в канале, на основе информации избыточности, которая добавлена на основе проверки по нечетности к мультимедийному пакету протокола RTP, который принят посредством предварительно определенного протокола.

Как показано на фиг.6А, пакет ПКО включает в себя заголовок протокола RTP, заголовок ПКО, заголовок первого уровня защиты путем проверки по нечетности (ЗППН) "заголовок 1 уровня ЗППН", полезную информацию первого уровня ЗППН "полезная информация 1 уровня ЗППН", заголовок второго ЗППН уровня "заголовок 2 уровня ЗППН" и полезную информацию ЗППН второго уровня "полезная информация 2 уровня ЗППН". Фиг.6В - схема формата заголовка ПКО на фиг.6А. Тип полезной информации (ПИ) для идентификации пакета ПКО и порядковый номер ПН, соответствующий номеру пакета протокола RTP, сохранены в заголовке протокола RTP. Первые и вторые ЗППН уровни включают в себя информацию защиты и полезную информацию на длинах L1 и L2 пакета ПКО.

Заголовок ПКО (фиг.6В) имеет общее количество 12 байт и включает в себя базовое поле порядкового номера (базовый ПН), соответствующее порядковому номеру первого пакета протокола RTP, используемого в ПКО пакете, поле восстановления длины (восстановление длины), поле расширения (Р), поле восстановления типа полезной информации (восстановление ПИ), поле маски для индикации пакета, используемого в ПКО пакете (маска), и поле восстановления временной метки (восстановление ВМ).

Как показано на фиг.6С, заголовок первого уровня ЗППН "заголовок 1 уровня ЗППН" включает в себя 16-разрядное поле длины защиты.

Как показано на фиг.6D, заголовок второго уровня ЗППН "заголовок 2 уровня ЗППН" включает в себя сумму 16-битового поля длины защиты и 24-битового поля маски.

Как показано на фиг.7, приемник принимает пакет протокола RTP и передает пакет протокола RTP на верхний уровень и сохраняет содержимое того же самого пакета протокола RTP в буфере. Также приемник сохраняет принятый пакет протокола RTP в буфере перед приемом пакета ПКО.

Сначала принимается пакет протокола RTP и проверяется порядковый номер принятого пакета протокола RTP (этап 710). Здесь порядковые номера принятых пакетов протокола RTP записываются в отдельной ячейке памяти.

Затем определяется, является ли пакет протокола RTP пакетом ПКО, путем обращения к типу полезной информации (ТПИ) в заголовке принятого пакета протокола RTP (этап 720).

Затем, когда на этапе 720 определено, что пакет протокола RTP является пакетом ПКО, порядковый номер протокола RTP, используемый в пакете ПКО, обнаруживается путем обращения к базовому полю ПН и полю маски заголовка ПКО (этап 730). В случае, если ПКО пакет сформирован более чем на двух уровнях ЗППН, порядковый номер протокола RTP, используемый в соответствующих уровнях ЗППН, обнаруживается путем обращения к полю маски, содержащемуся в заголовке каждого из уровней ЗППН (этап 730).

Затем порядковый номер, соответствующий потерянному пакету протокола RTP, обнаруживается путем сравнения порядкового номера протокола RTP, записанного в отдельной ячейке памяти, с порядковым номером протокола RTP, используемым в пакете ПКО (этап 740). Например, когда порядковые номера протокола RTP, записанные в памяти - 1, 2, 4, а порядковые номера протокола RTP, используемые в пакете ПКО, - 1, 2, 3 и 4, потерянный порядковый номер протокола RTP - 3.

Затем третий пакет протокола RTP, который не был принят, восстанавливается путем обращения к порядковому номеру протокола RTP потерянного пакета (этап 750). То есть пакет протокола RTP, который не был принят, восстанавливается с помощью полезной информации первого уровня ЗППН и принятого пакета протокола RTP. В случае, когда имеются более чем два заголовка ЗППН в пакете ПКО, пакет протокола RTP, который не был принят, восстанавливается путем обращения к полезной информации каждого из уровней ЗППН. Также пакет протокола RTP, который не был принят, декодируется путем выполнения операции "исключающее ИЛИ" или кодирования с помощью кода Рида-Соломона с использованием декодированного путем выполнения операции "исключающее ИЛИ" или кодирования с помощью кода Рида-Соломона пакета ПКО и пакета протокола RTP, используемого в пакете ПКО.

Этапы повторяются до завершения приема пакета протокола RTP (этап 760).

Как показано на фиг.8, чтобы обеспечить пакет протокола RTP, обеспечивается прямое соединение, имеющее один канал между клиентом С и сервером S, или групповое соединение, имеющее множество каналов между клиентом С и сервером S. То есть сервер S, используя прямое соединение, передает пакет протокола RTP и пакет ПКО клиенту С. В случае, когда клиент С не имеет функции приема пакета ПКО, пакет ПКО отбрасывается. Сервер S, использующий групповое соединение, передает пакет протокола RTP и пакет ПКО соответственно через отдельные каналы клиенту С.

Вышеупомянутые способы кодирования и декодирования могут быть реализованы компьютерной программой. Коды и сегменты кода, выполняющие программу, могут быть легко получены квалифицированным компьютерным программистом. Также программа может быть реализована на носителях, используемых в компьютере, и на обычном цифровом компьютере для работы программы. Программа может быть сохранена на компьютерных считываемых носителях. Носители могут включать в себя магнитные носители, такие как гибкий диск или жесткий диск, и оптические носители, такие как CD-ROM или цифровой видеодиск (DVD). Также программа может быть передана каналами-носителями, такими как Интернет.

В то время как настоящее изобретение подробно показано и описано со ссылкой на предпочтительные варианты его осуществления, специалистам должно быть понятно, что различные изменения в форме и деталях могут быть сделаны без изменения сущности и объема изобретения, как определено в формуле изобретения.

Промышленная применимость
Как описано выше, устойчивость по отношению к ошибкам мультимедийных данных (особенно видеоданных) может быть увеличена за счет защиты от ошибок путем проверки по нечетности по отношению к исходным пакетам без изменения набора протоколов передачи/приема в обычной сети передачи пакетов данных, таких как протокол Н. 323.

Формула изобретения

1. Способ передачи мультимедийных данных в системе передачи или/и приема мультимедийных данных в беспроводной сети передачи пакетов данных, включающий этапы, на которых (а) пакетируют исходные данные и (b) выполняют защиту от ошибок путем контроля по нечетности в отношении одного исходного пакета или множества исходных пакетов, пакетированных на этапе (а).

2. Способ по п.1, отличающийся тем, что этап (а) выполняют на уровне, расположенном ниже уровня протокола передачи в реальном масштабе времени (RTP).

3. Способ передачи мультимедийных данных в системе передачи и приема мультимедийных данных в беспроводной сети передачи пакетов данных, включающий этапы, на которых (а) пакетируют исходные данные и (b) формируют пакет протокола RTP из полезной информации, которая защищена от ошибок за счет проверки по нечетности в отношении одного исходного пакета или множества исходных пакетов, пакетированных на этапе (а), и произвольного заголовка протокола RTP.

4. Способ по п.1 или 3, отличающийся тем, что информацию избыточности добавляют к одному пакету или множеству исходных пакетов на этапе (b).

5. Способ по п.1 или 3, отличающийся тем, что информацию избыточности добавляют к части одного пакета или множеству исходных пакетов на этапе (b).

6. Способ по п.5, отличающийся тем, что частью исходных пакетов является информация заголовка каждого пакета.

7. Способ по п.1 или 3, отличающийся тем, что информацию избыточности различным образом добавляют к синтаксическим структурам, имеющим различную важность, одного исходного пакета или множества исходных пакетов на этапе (b).

8. Способ по п.1 или 3, отличающийся тем, что информацию избыточности добавляют к одной части или множеству частей одного исходного пакета или множества исходных пакетов на этапе (b).

9. Способ по одному из пп.4-8, отличающийся тем, что информация избыточности соответствует прямой коррекции ошибок (ПКО).

10. Способ по п.9, отличающийся тем, что ПКО реализуется выполнением операции "Исключающее ИЛИ" или кодированием с помощью кода Рида-Соломона.

11. Устройство для передачи мультимедийных данных в системе передачи или/и приема мультимедийных данных в беспроводной сети передачи пакетов данных, содержащее модуль пакетирования источника для пакетирования мультимедийных данных, модуль уровня протокола RTP для введения временной метки в пакеты мультимедийных данных и для формирования пакета протокола RTP, объединяющего пакеты мультимедийных данных, сформированные в модуле пакетирования источника, и модуль защиты от ошибок для добавления информации избыточности путем проверки по нечетности к одному пакету мультимедийных данных или множеству пакетов мультимедийных данных, которые пакетируются между модулем пакетирования источника и модулем уровня протокола RTP или в модуле уровня протокола RTP.

12. Устройство для приема мультимедийных данных в системе приема мультимедийных данных для приема пакета протокола RTP, к которому добавлена информация избыточности для защиты от ошибок путем проверки по нечетности одного исходного пакета или множества исходных пакетов, содержащее средство для приема пакета мультимедийных данных протокола RTP посредством предварительно определенного протокола передачи в беспроводной сети передачи пакетов данных, и средство для исправления битовой ошибки, возникшей в канале, на основе информации избыточности, которая добавляется путем проверки по нечетности к принятому пакету мультимедийных данных протокола RTP.

13. Способ приема мультимедийных данных в системе приема мультимедийных данных для приема пакета протокола RTP, к которому добавляется пакет защиты от ошибок, который является защищенным от ошибок за счет контроля по нечетности в отношении одного исходного пакета или множества исходных пакетов, включающий этапы, на которых (а) принимают пакет протокола RTP посредством предварительно определенного протокола передачи в беспроводной сети передачи пакетов данных и проверяют номер принятого пакета протокола RTP; (b) обращаются к типу полезной информации в заголовке пакета протокола RTP, принятого на этапе (а), и определяют номер пакета протокола RTP, используемого для кодирования защиты от ошибок, причем пакет протокола RTP соответствует пакету защиты от ошибок; (с) определяют номер потерянного пакета путем сравнения номера пакета протокола RTP, проверенного на этапе (а), с номером пакета протокола RTP, определенного на этапе (b); и (d) восстанавливают пакет протокола RTP, который не был принят, путем обращения к номеру потерянного пакета, определенного на этапе (с).

14. Способ по п.13, отличающийся тем, что номер пакета протокола RTP, используемого для кодирования защиты от ошибок на этапе (b), определяется путем обращения к полю порядкового номера и полю маски, которые размещены в заголовке пакета защиты от ошибок.

15. Способ по п.13, отличающийся тем, что пакет протокола RTP, который не был принят на этапе (d), восстанавливают на уровне защиты с помощью полезной информации, размещенной в пакете защиты от ошибок, и принятого на этапе (а) пакета протокола RTP.

16. Способ по п.13, отличающийся тем, что пакет протокола RTP, который не был принят на этапе (d), восстанавливают путем обращения к каждой полезной информации в случае, когда имеется заголовок на более чем двух уровнях защиты в пакете защиты от ошибок.

17. Способ по п.15 или 16, отличающийся тем, что пакет протокола RTP, который не был принят на этапе (d), получают декодированием путем выполнения операции "Исключающее ИЛИ" или кодирования с использованием кода Рида-Соломона.

РИСУНКИ

Рисунок 1, Рисунок 2, Рисунок 3, Рисунок 4, Рисунок 5, Рисунок 6, Рисунок 7, Рисунок 8