Устройство обработки информации, способ и программа

Изобретение относится к акустике, в частности к устройствам синхронизации воспроизведения. Главное устройство содержит модуль входной для ввода сигналов, модуль обработки воспроизведения, модуль отображения, динамик, вспомогательное приемное устройство содержит микрофон, вычислительный модуль количества признаков звуковой синхронизации, буфер, модуль обработки разделения, выход которого соединен с буфером, модуль синхронизации, модуль воспроизведения, модуль обработки воспроизведения, громкоговоритель, модуль отображения. Вычислительный модуль количества признаков звуковой синхронизации содержит модули обнаружения периодичности, модуль разделения полосы пропускания частот, модуль обнаружения интенсивности периодичности, модуль объединения информации о периодичности, модуль обнаружения пиков, модуль понижения дискретизации. Обеспечивающее устройство содержит модуль преобразования, модуль вывода, модуль вычисления количества признаков звуковой синхронизации, модуль обработки мультиплексирования. Модуль вычисления синхронизации содержит модуль преобразования частоты кадров, модули объединения блоков, модули вычисления аналогичности, модуль поиска оптимального пути. Согласно способу запускают обработку вычисления количества признаков звуковой синхронизации, разделяют звуковой сигнал во временных секциях, разделяют звуковой сигнал на четыре полосы частот, выделяют информацию о периодичности сигнала, вычисляют интенсивность периодичности, выполняют объединение информации о периодичности, выполняют обнаружение пиков, выполняют понижение дискретизации. Технический результат – обеспечение возможности синхронизации множества фрагментов содержимого, полученного через различные маршруты. 6 н. и 14 з.п. ф-лы, 29 ил.

 

Область техники, к которой относится изобретение

Настоящая технология относится к устройству обработки информации, способу обработки информации, и программе, и в частности, устройству обработки информации, способу и программе, способным синхронизировать множество фрагментов содержимого, полученного через различные маршруты.

Уровень техники

В последние годы увеличилось количество устройств, которые могут воспроизводить различные виды мультимедийного содержимого после осуществления присоединения к сети, например таких устройств как многофункциональные мобильные телефоны и планшетные оконечные устройства. Кроме того, становится необходимым использование таких устройств на основе комбинации множества устройств, использующих функции сети, которые включают в себя телевизионный приемник или подобное устройство, которое было представлено в предшествующем уровне техники.

В качестве комбинации множества устройств может предполагаться прикладная программа для приема множества фрагментов мультимедийного содержимого, например такие программы, как показанные ниже от (A1) до (A4), которые имеют синхронизированное по времени соотношение с помощью множества устройств, через радио- или телевизионное вещание, Интернет, или подобные каналы, и воспроизведение фрагментов содержимого в синхронизированном порядке.

(A1) Звуковое содержимое на иностранном языке, звуковое содержимое с комментариями, ввод кодированных титров между кадрами и буквенно-цифровая информация для главного видеоизображения и звукового содержимого;

(A2) Множество фрагментов видеоизображения и звукового содержимого, получаемого за счет воспроизведения музыкальной композиции каждым инструментом и фиксирования изображения сцены, где играет каждый инструмент;

(A3) Видеоизображение и звуковое содержимое, получаемое за счет воспроизведения одной сцены под множеством углов;

(A4) Главное видеоизображение и звуковое содержимое, а также версия высокой четкости для этого видеоизображения и звукового содержимого.

Необходимо воспроизводить такое множество фрагментов содержимого в состоянии, когда синхронизация поддерживается во время воспроизведения. Например, технология синхронизации множества фрагментов содержимого за счет выделения количества признаков из соответствующих фрагментов содержимого, воспроизводимых в то же самое время множеством различных устройств для воспроизведения и вычисления аналогичности количества признаков была раскрыта как технология синхронизации множества фрагментов содержимого (см., например патентную литературу 1).

Указатель ссылок на литературу

Патентная литература:

1: Публикация №2013-174765 нерассмотренной заявки на патент Японии

Раскрытие изобретения

Техническая проблема

В этой связи, при попытках принять мультимедийное содержимое, как описывалось выше, через множество устройств и, соответственно, через различные маршруты, получается трудно воспроизводить содержимое с поддержкой синхронизации, вследствие задержки при передаче, задержки при обработке передачи и приема, разницы в часах для определения времени работы приемных устройств, или подобных параметров в практической работе. В соответствии с технологией, раскрываемой в патентной литературе 1, трудно синхронизировать фрагменты содержимого в том случае, когда эти фрагменты содержимого, которые должны синхронизироваться и воспроизводиться, не имеют каких-либо подобных признаков.

Желательно иметь возможность синхронизации множества фрагментов содержимого, полученного через различные маршруты.

Решение проблемы

В соответствии с первым вариантом осуществления настоящей технологии, обеспечивается устройство обработки информации, включающее в себя: модуль вычисления количества признаков для выделения количества признаков из звукового сигнала первого содержимого; и модуль вычисления синхронизации для генерирования информации коррекции синхронизации, основываясь на количестве признаков звука для воспроизведения второго содержимого в синхронизации с первым содержимым, за счет сравнения количества признаков, получаемых в синхронизации со вторым содержимым, которое имеет синхронизированное по времени соотношение с первым содержимым и с количеством признаков, которое выделяется модулем вычисления количества признаков.

Модуль вычисления количества признаков может выделять количество признаков из звукового сигнала, который получается за счет собирания звука в воспроизводимом первом содержимом.

Устройство обработки информации может дополнительно включать в себя: первый модуль ввода, который получает второе содержимое и количество признаков, которое взаимодействует со вторым содержимым в синхронизации со вторым содержимым.

Второе содержимое и количество признаков могут передаваться на устройство обработки информации с распределением во времени, которое определяется таким образом, чтобы принимать во внимание разницу во времени прибытия по сравнению с первым содержимым.

Первый модуль ввода может запрашивать передачу второго содержимого и количество признаков, а также принимать второе содержимое и количество признаков, которые передаются в ответ на запрос.

Устройство обработки информации может дополнительно включать в себя: второй модуль ввода для запроса передачи первого содержимого и приема первого содержимого, которое передается в соответствии с запросом.

Модуль вычисления количества признаков может выделять количество признаков фрагмента первого содержимого, которое воспроизводится из звукового сигнала, а модуль вычисления синхронизации может устанавливать первое содержимое, которое воспроизводится за счет сравнения соответствующего количества признаков множества фрагментов первого содержимого, которое взаимодействует со вторым содержимым, с количеством признаков, выделяемых модулем вычисления количества признаков, и генерирует информацию коррекции синхронизации, основываясь на количестве звуковых признаков для воспроизведения установленного первого содержимого и второго содержимого в синхронизации друг с другом.

Устройство обработки информации может дополнительно включать в себя: модуль обработки воспроизведения для управления воспроизведением второго содержимого.

Модуль обработки воспроизведения может корректировать позицию воспроизведения во втором содержимом в зависимости от информации по корректированию синхронизации, основываясь на количестве признаков звука.

Устройство обработки информации может дополнительно включать в себя: модуль сбора данных для получения информации по времени представления первого содержимого; и модуль сравнения для сравнения информации о времени представления первого содержимого и информации о времени представления второго содержимого и генерирует информацию о коррекции синхронизации, основываясь на информации о времени воспроизведения; а также модуль вычисления синхронизации для генерирования информации о коррекции синхронизации, основываясь на количестве звуковых признаков за счет сравнения количества признаков внутри диапазона, обозначенного с помощью информации о коррекции синхронизации, основываясь на информации о времени воспроизведения, из последовательности полученных количеств признаков с количеством признаков, выделенных модулем вычисления количества признаков.

Модуль вычисления синхронизации может сравнивать количества признаков после выполнения преобразования частоты смены кадров на по меньшей мере одном из полученных количеств признаков и количестве признаков, выделенных модулем вычисления количества признаков, для того чтобы частота смены кадров полученного количеств признаков совпадала с частотой смены кадров количества признаков, выделенных модулем вычисления количества признаков.

В соответствии с первым вариантом осуществления настоящей технологии, обеспечивается способ обработки информации и программа, включающая в себя этапы, на которых: выделяют количество признаков из звукового сигнала первого содержимого; и генерирование информации о коррекции синхронизации, основываясь на количестве признаков звукового сигнала для воспроизведения второго содержимого в режиме синхронизации с первым содержимым за счет сравнения количества признаков, полученных в режиме синхронизации со вторым содержимым, которое имеет синхронизированное по времени соотношение с первым содержимым с количеством признаков, которое выделяется в процессе выделения.

В первом варианте осуществления изобретения настоящей технологии количество признаков выделяется из звукового сигнала первого содержимого, а информация о коррекции синхронизации, основанная на количестве признаков звукового сигнала для воспроизведения второго содержимого в режиме синхронизации с первым содержимым, генерируется за счет сравнения количества признаков, полученных в режиме синхронизации со вторым содержимым, которое имеет синхронизированное по времени соотношение с первым содержимым с количеством признаков, которое выделяется в процессе выделения.

В соответствии со вторым вариантом осуществления изобретения настоящей технологии, обеспечивается устройство обработки информации, включающее в себя: модуль вычисления количества признаков для выделения количества признаков из звукового сигнала первого содержимого; и первый модуль вывода для вывода второго содержимого, которое имеет синхронизированное по времени соотношение с первым содержимым и количество признаков, которое взаимодействует со вторым содержимым в синхронизации со вторым содержимым.

Устройство обработки информации может дополнительно включать в себя: второй модуль вывода для вывода первого содержимого.

Первый модуль вывода может выводить второе содержимое и количество признаков с распределением по времени, которое определяется таким образом, чтобы принимать во внимание разницу во времени прибытия по сравнению с первым содержимым.

Когда запрашивается передача второго содержимого и количества признаков, первый модуль вывода может выводить второе содержимое и количество признаков в ответ на запрос.

Когда запрашивается передача первого содержимого, второй модуль вывода может выводить первое содержимое в ответ на запрос.

Модуль вычисления количества признаков может выделять количество признаков множества фрагментов первого содержимого из звуковых сигналов, а первый модуль вывода может сопоставлять и выводить количество признаков множества фрагментов первого содержимого со вторым содержимым.

Модуль вычисления количества признаков может производить понижающую дискретизацию количества признаков, а первый модуль вывода может выводить второе содержимое и количество признаков, подвергнутое понижающей дискретизации.

В соответствии со вторым вариантом осуществления изобретения настоящей технологии, обеспечивается способ обработки информации и программа, включающая в себя этапы, на которых: выделяют количество признаков из звукового сигнала первого содержимого; и выведение второго содержимого, которое имеет синхронизированное по времени соотношение с первым содержимым и количество признаков, которое взаимодействует со вторым содержимым в синхронизации со вторым содержимым.

Во втором варианте осуществления изобретения настоящей технологии количество признаков выделяется из звукового сигнала первого содержимого, а второе содержимое, которое имеет синхронизированное по времени соотношение с первым содержимым, и количество признаков, которое ассоциируется со вторым содержимым в синхронизации со вторым содержимым, выводятся.

Положительные эффекты изобретения

В соответствии с первым и вторым вариантами осуществления изобретения настоящей технологии, возможно синхронизировать множество фрагментов содержимого, полученного через различные маршруты.

Кроме того, настоящая технология необязательно ограничивается описываемым выше эффектом, и с ее помощью могут быть достигнуты любые эффекты, описанные в этой технологии.

Краткое описание чертежей

Фиг. 1 является блок-схемой, показывающей пример конфигурации обеспечивающего устройства.

Фиг. 2 является блок-схемой, показывающей пример конфигурации модуля вычисления количества признаков для звуковой синхронизации.

Фиг. 3 является диаграммой, иллюстрирующей понижающую дискретизацию количества признаков для звуковой синхронизации.

Фиг. 4 является блок-схемой, показывающей пример конфигурации системы воспроизведения содержимого.

Фиг. 5 является блок-схемой, показывающей пример конфигурации модуля вычисления количества признаков для звуковой синхронизации.

Фиг. 6 является блок-схемой, показывающей пример конфигурации модуля вычисления синхронизации.

Фиг. 7 является диаграммой, иллюстрирующей синхронизированное вычисление количества признаков для звуковой синхронизации.

Фиг. 8 является диаграммой, иллюстрирующей синхронизированное вычисление количества признаков для звуковой синхронизации.

Фиг. 9 является диаграммой, иллюстрирующей синхронизированное вычисление количества признаков для звуковой синхронизации.

Фиг. 10 является диаграммой, иллюстрирующей блоки в качестве целей вычисления аналогичности.

Фиг. 11 является диаграммой, иллюстрирующей вычисление аналогичности.

Фиг. 12 является картой последовательности процесса, иллюстрирующей обработку передачи.

Фиг. 13 является блок-схемой, иллюстрирующей мультиплексирование вспомогательного сигнала канала и количества признаков для звуковой синхронизации.

Фиг. 14 является картой последовательности процесса, иллюстрирующей обработку вычисления количества признаков для звуковой синхронизации.

Фиг. 15 является картой последовательности процесса, иллюстрирующей обработку воспроизведения главного содержимого.

Фиг. 16 является картой последовательности процесса, иллюстрирующей обработку для создания вспомогательного содержимого.

Фиг. 17 является картой последовательности процесса, иллюстрирующей обработку вычисления количества признаков для звуковой синхронизации.

Фиг. 18 является картой последовательности процесса, иллюстрирующей обработку генерирования информации по корректированию синхронизации.

Фиг. 19 является диаграммой, иллюстрирующей пример применения настоящей технологии.

Фиг. 20 является диаграммой, иллюстрирующей пример применения настоящей технологии.

Фиг. 21 является диаграммой, иллюстрирующей пример применения настоящей технологии.

Фиг. 22 является блок-схемой, показывающей пример конфигурации обеспечивающего устройства.

Фиг. 23 является блок-схемой, показывающей пример конфигурации системы для воспроизведения содержимого.

Фиг. 24 является картой последовательности процесса, иллюстрирующей обработку передачи.

Фиг. 25 является картой последовательности процесса, иллюстрирующей обработку воспроизведения главного содержимого.

Фиг. 26 является картой последовательности процесса, иллюстрирующей обработку воспроизведения вспомогательного содержимого.

Фиг. 27 является картой последовательности процесса, иллюстрирующей обработку генерирования информации по корректированию синхронизации.

Фиг. 28 является диаграммой, иллюстрирующей блок в качестве цели для вычисления аналогичности.

Фиг. 29 является диаграммой, показывающей пример конфигурации компьютера.

Осуществление изобретения

В дальнейшем будет приведено описание варианта осуществления изобретения, к которому применяется настоящая технология со ссылками на прилагаемые чертежи.

Первый вариант осуществления изобретения

Признаки настоящей технологии

Во-первых будет приведено описание признаков настоящей технологии.

Настоящая технология включает в себя следующие признаки, в частности признаки от В1 до В6.

Признак В1.

В соответствии с настоящей технологией, возможно применение способа и устройства со следующей конфигурацией для выполнения автоматической синхронизации при использовании звука, когда множество фрагментов мультимедийного содержимого, которое содержится в различном содержимом, передаются через различные маршруты передачи и принимаются множеством различных устройств.

1) мультимедийное содержимое является потоком данных, воспринимаемым за счет мультиплексирования видеосигналов, звука, изображений, буквенно-цифровой информации и т.п.

2) множество фрагментов мультимедийного содержимого, как объекта для передачи, имеют синхронизированные по времени соотношения, как в упоминавшихся выше примерах с (A1) по (А4).

3) по меньшей мере один из множества фрагментов мультимедийного содержимого, в качестве объекта для передачи, определяется таким образом, чтобы он являлся главным сигналом канала, количество признаков для звуковой синхронизации вычисляется из звукового сигнала, а главный сигнал передачи генерируется из главного сигнала канала в формате передачи, определяемом системой.

4) для того чтобы синхронизированное по времени соотношение между каждым фрагментом остающегося мультимедийного содержимого (вспомогательный сигнал канала) и главным сигналом канала соответствовали друг другу, мультиплексирующая обработка количества признаков для звуковой синхронизации главного сигнала канала и вспомогательного сигнала канала выполняется в формате передачи, определяемом системой, при этом генерируется вспомогательный сигнал передачи.

5) главное приемное устройство, которое принимает главный сигнал передачи, выводит звуковой сигнал главного сигнала канала через громкоговоритель или подобное устройство при воспроизведении главного сигнала канала.

6) вспомогательное приемное устройство, которое принимает вспомогательный сигнал передачи, включающий в себя количество признаков для звуковой синхронизации главного сигнала канала, собирает звуковые данные главного сигнала канала, которые выводятся главным приемным устройством через громкоговоритель, через микрофон или подобное устройство, вычисляет количество признаков для звуковой синхронизации, выполняет автоматическое вычисление синхронизации в отношении количества признаков для звуковой синхронизации принятого главного сигнала канала и вычисляет информацию по корректированию синхронизации (информацию по разнице во времени), основанную на количестве признаков для звукового сигнала.

7) вспомогательное приемное устройство выполняет обработку корректирования синхронизации с главным сигналом канала на принятом вспомогательном сигнале канала и выполняет воспроизведение с учетом информации по корректированию синхронизации, основанной на количестве признаков для звукового сигнала.

Кроме того, поскольку предполагается упоминавшаяся выше передача (1) потока данных, передача мультимедийного содержимого в сеть, такую как радио- или телевизионное вещание, Интернет, логический канал передачи, занимаемый мультиплексированным потоком данных, будет рассматриваться как канал передачи.

Кроме того, описанные выше «вычисление количества признаков для звуковой синхронизации» и «автоматическое синхронизированное вычисление» применяются с технологиями, например раскрываемыми в публикации №2013-174765 нерассмотренной заявки на патент Японии. Также возможно выполнение понижающей дискретизации количества признаков для звуковой синхронизации перед передачей или выполнение преобразования частоты смены кадров количества признаков для звуковой синхронизации в случае необходимости во время автоматического синхронизированного вычисления, используя количество признаков для звуковой синхронизации.

За счет использования такой технологии возможно выполнение автоматического синхронизированного вычисления устойчивым образом, даже в среде с неблагоприятным воздействием с шумами или нежелательным звуком, когда вспомогательное приемное устройство собирает звук главного сигнала канала. Кроме того, нет необходимости использовать технологию.

В этом случае необходимо передавать вспомогательный передающий сигнал перед передачей главного передающего сигнала.

Признак В2.

В упоминавшемся выше признаке 1 система на передающей стороне передает главный передающий сигнал и вспомогательный передающий сигнал, соответственно, к главному передающему устройству и вспомогательному передающему устройству в одностороннем порядке.

В этом случае необходимо передавать вспомогательный передающий сигнал перед передачей главного передающего сигнала.

Признак В3.

В упоминавшемся выше признаке 1 система на передающей стороне передает главный передающий сигнал к главному передающему устройству в одностороннем порядке, а вспомогательное приемное устройство получает вспомогательный передающий сигнал через сеть с распределением по времени самого вспомогательного приемного устройства, выполняет автоматическое синхронизированное вычисление, и выполняет синхронизированное воспроизведение вспомогательного сигнала канала.

Преимущество этой конфигурации состоит в том, что вспомогательное приемное устройство может контролировать накопление данных вспомогательного передающего сигнала в зависимости от удобства самого вспомогательного приемного устройства, принимая во внимание задержку в передаче через сеть или подобным образом.

Признак В4.

В упоминавшемся выше признаке В1 главное приемное устройство получает главный передающий сигнал через сеть с распределением по времени самого главного приемного устройства, и воспроизводит главный сигнал канала, при этом вспомогательное приемное устройство также получает вспомогательный передающий сигнал через сеть с распределением по времени самого вспомогательного приемного устройства, выполняет автоматическое вычисление синхронизации, и выполняет синхронизированное воспроизведение вспомогательного сигнала канала.

Преимущество этой конфигурации состоит в том, что вспомогательное приемное устройство может контролировать накопление данных вспомогательного передающего сигнала в зависимости от удобства приема самого вспомогательного передающего сигнала, принимая во внимание задержку в передаче через сеть или подобным образом.

Признак В5.

В упоминавшемся выше признаке В1 представлено множество последовательностей звуковых сигналов главных сигналов канала.

Например, множество последовательностей главных сигналов канала соответствуют главному звуку и вспомогательному звуку для радио или телевизионного вещания на двух языках. Количества признаков для звуковой синхронизации вычисляются для всех последовательностей звуковых сигналов, а затем мультиплексируются и передаются со вспомогательным сигналом канала. Вспомогательное приемное устройство определяет, какие звуки главных сигналов канала воспроизводятся при выполнении синхронизированного вычисления между собранным звуком и всеми принятыми количествами признаков для звуковой синхронизации. Отключение вывода звуковых сигналов главным приемным устройством также определяется в синхронизированном вычислении.

Признак В6.

В упоминавшемся выше признаке В1 «отклонение в синхронизации» обнаруживается при автоматическом синхронизированном вычислении вспомогательным приемным устройством, а обработка коррекции в режиме реального времени выполняется на стороне вспомогательного приемного устройства.

Поскольку главное приемное устройство и вспомогательное приемное устройство работают независимо друг от друга, их звуковые таймкоды различаются, и происходит отклонение в синхронизации. Таким образом, возможно воспроизвести множество фрагментов содержимого, в то же время поддерживая синхронизацию, за счет обнаружения и корректирования отклонения в синхронизации.

Пример конфигурации устройства обеспечения

В дальнейшем будет приводиться описание специфического варианта осуществления изобретения, в котором применяется настоящая технология.

Во-первых будет приводиться описание примера конфигурации устройства обеспечения, которое обеспечивает содержимое с синхронизированным по времени соотношением, как в упоминавшихся выше примерах, показанных в (A1)-(А4).

Фиг. 1 является блок-схемой, показывающей пример конфигурации обеспечивающего устройства. К обеспечивающему устройству 11 поступает главный сигнал канала, который является сигналом для воспроизведения основного содержимого (в дальнейшем определяемого как главное содержимое), и вспомогательный сигнал канала, который является сигналом для воспроизведения содержимого с сопутствующим содержимым (в дальнейшем определяемого как вспомогательное содержимое) в главном содержимом.

Здесь главное содержимое и вспомогательное содержимое конфигурируются из по меньшей мере любого видеоизображения и звука, при этом они имеют синхронизированное по времени соотношение между собой. То есть желательно, чтобы главное содержимое и вспомогательное содержимое воспроизводились синхронизированным образом при их воспроизведении.

Кроме того, последующее описание будет продолжаться с допущением, что главное содержимое и вспомогательное содержимое, соответственно, конфигурируются из сигналов изображения для воспроизведения видео и звуковых сигналов, сопровождающих сигналы видеоизображения. Поэтому главный сигнал канала и вспомогательный сигнал канала в этом примере, соответственно, конфигурируются из сигналов изображения и звуковых сигналов.

Обеспечивающее устройство 11 включает в себя модуль 21 преобразования, модуль 22 вывода, модуль 23 вычисления количества признаков для звуковой синхронизации, модуль 24 обработки для мультиплексирования, и модуль 25 вывода.

Модуль 21 преобразования преобразует подаваемый главный сигнал канала в такой сигнал, формат которого определяется заданным стандартом широковещательной сети или подобному параметру, и подает полученный в результате главный сигнал передачи к модулю 22 вывода. Модуль 22 вывода транслирует сигнал через широковещательную волну или передает через сеть связи, такую как Интернет, главный сигнал передачи, передаваемый от модуля 21 преобразования.

Модуль 23 вычисления количества признаков для звуковой синхронизации выделяет количество признаков для звуковой синхронизации из звукового сигнала, который конфигурирует передаваемый главный сигнал канала и передает количество признаков для звуковой синхронизации к модулю 24 обработки для мультиплексирования. Здесь количество признаков для звуковой синхронизации является количество признаков, которое должно быть использовано для синхронизации и воспроизведения вспомогательного содержимого с главным содержимым, когда воспроизводится это главное содержимое со вспомогательным содержимым.

Модуль 24 обработки для мультиплексирования регулирует синхронизированное по времени соотношение между количеством признаков для звуковой синхронизации из модуля 23 вычисления количества признаков для звуковой синхронизации и подаваемым вспомогательным сигналом канала за счет использования подаваемого главного сигнала канала. То есть, поскольку главный сигнал канала и вспомогательный сигнал канала заранее находятся в синхронизированном состоянии в обеспечивающем устройстве 11, модуль 24 обработки для мультиплексирования сопоставляет количество признаков для звуковой синхронизации со вспомогательным сигналом канала в состоянии, когда количество признаков для звуковой синхронизации и вспомогательный сигнал канала синхронизируются в виде синхронизированного по времени соотношения за счет использования главного сигнала канала. Например, в системе MPEG-4 каждый звуковой сигнал, сигнал видеоизображения и подобные сигналы обрабатываются как единый мультимедийный объект (elementary stream (ES) - элементарный поток) и мультиплексируются. Поскольку определяющий признак времени определяется в минимальных единицах, называемых блоки доступа (access unit, AU), которые приобретаются за счет разделения элементарного потока ES, то возможно легко мультиплексировать количество признаков для звуковой синхронизации с мультимедийным объектом, поскольку вспомогательный сигнал канала за счет обработки количества признаков для звуковой синхронизации как единого мультимедийного объекта включает в себя информацию определяющей временной характеристики.

Кроме того, модуль 24 обработки для мультиплексирования мультиплексирует количество признаков для звуковой синхронизации и вспомогательный сигнал канала во временно синхронизированном состоянии, затем в случае необходимости выполняет преобразование формата, и в результате подает полученный вспомогательный сигнал передачи к модулю 25 вывода.

Модуль 25 вывода передает вспомогательный сигнал передачи, полученный от модуля 24 обработки мультиплексирования, через широковещательную волну или через сеть связи, такую как Интернет. В этом случае главный сигнал передачи и вспомогательный сигнал передачи передаются к системе на сторону воспроизведения содержимого через различающиеся между собой каналы для передачи.

Хотя обеспечивающее устройство 11 в примере, показанном на фиг. 1, конфигурируется как единое устройство, обеспечивающее устройство 11 может конфигурироваться из множества устройств, или соответствующая обработка может выполняться вычислениями при помощи Интернет-ресурсов.

Пример конфигурации модуля вычисления количества признаков для звуковой синхронизации

Если более точно, то модуль 23 вычисления количества признаков для звуковой синхронизации, показанный на фиг. 1, конфигурируется например таким образом, как показано на фиг. 2.

Модуль 23 вычисления количества признаков для звуковой синхронизации включает в себя модуль 51 разделения полосы пропускаемых частот, модули с 52-1 до 52-4 обнаружения периодичности, модули с 53-1 до 53-4 обнаружения интенсивности периодичности, модуль 54 объединения информации о периодичности, модуль 55 обнаружения пиков и модуль 56 понижения дискретизации.

Модуль 51 разделения полосы пропускаемых частот разделяет звуковой сигнал на временные секции начиная от приблизительно нескольких десятков миллисекунд до почти 100 миллисекунд за счет использования функции окна.

Здесь обработка, выполняемая модулями от модуля 51 разделения полосы пропускаемых частот до модуля 55 обнаружения пиков, выполняется для одной временной секции. Возможно получать множество временных секций (выделенных интервалов времени), которые продолжаются в направлении отсчета времени за счет смещения временной позиции, к которой применяется функция окна, смещаемой таким образом, что она задерживается на период времени от приблизительно нескольких миллисекунд до почти 100 миллисекунд. И наоборот, модуль 56 понижения дискретизации объединяет результаты множества непрерывных временных секций в одну временную секцию и вычисляет количество признаков новой временной секции после объединения.

Модуль 51 разделения полосы пропускаемых частот разделяет звуковой сигнал для каждой временной секции на четыре полосы частот за счет использования множества полосовых фильтров и подает звуковые сигналы в соответствующих полосах частот к модулям с 52-1 до 52-4 обнаружения периодичности.

В качестве полосовых фильтров эффективно использовать фильтры, которые дополнительно расширяют ширину полосы пропускания проходящей частоты, когда частота становится выше, например, такие как октавные фильтры.

Модули с 52-1 до 52-4 обнаружения периодичности выделяют информацию о периодичности, показывающую периодичность в каждой временной секции с помощью вычисления функции автокорреляции звукового сигнала в каждой временной секции в заданной полосе частот, поступающей от модуля 51 разделения полосы пропускаемых частот.

Хотя сама функция x(b, tau) автокорреляции звукового сигнала с временной задержкой, обозначаемой с помощью индекса «tau» в полосе частот, обозначенной с помощью индекса «b», используется здесь как информация о периодичности, также возможно использовать значение получаемое за счет деления функции x(b, tau) автокорреляции на х(b, 0). Кроме того, возможно использовать способ применения пика спектра, получаемого за счет выполнения на звуковом сигнале дискретного преобразования Фурье в заданной полосе частот в качестве способа вычисления функции x(b, tau) автокорреляции.

Модули с 52-1 до 52-4 обнаружения периодичности передают выделенную информацию о периодичности для каждой временной секции к модулям с 53-1 до 53-4 обнаружения интенсивности периодичности и модулю 54 объединения информации о периодичности. В дальнейшем модули с 52-1 до 52-4 обнаружения периодичности будут просто определяться как модули 52 обнаружения периодичности, когда нет особой необходимости различать модули с 52-1 до 52-4 обнаружения периодичности.

Модули с 53-1 до 53-4 обнаружения интенсивности периодичности вычисляют интенсивность периодичности в каждой временной секции, основываясь на информации о периодичности для каждой временной секции, поступающей от модулей с 52-1 до 52-4 обнаружения периодичности. В частности, максимальное значение функции x(b, tau) автокорреляции, как информации о частоте для значения tau, от тех, которые находятся вблизи от значения tau=0, вычисляется как интенсивность периодичности. Когда интенсивность периодичности увеличивается, периодичность звукового сигнала как обрабатываемой цели, увеличивается. Когда интенсивность периодичности уменьшается, периодичность звукового сигнала как обрабатываемой цели становится с большей вероятностью периодичностью шума.

Модули с 53-1 до 53-4 обнаружения интенсивности периодичности преобразуются в двоичную форму, как информация об интенсивности периодичности для каждой временной секции, при этом интенсивность периодичности в каждой временной секции зависит от превышения порогового значения. То есть, когда интенсивность периодичности в каждой временной секции превышает заданное пороговое значение, информация об интенсивности периодичности устанавливается на единицу. Когда интенсивность периодичности меньше или равна заданному пороговому значению, информация об интенсивности периодичности устанавливается на ноль. Модули с 53-1 до 53-4 обнаружения интенсивности периодичности передают информацию об интенсивности периодичности для каждой временной секции к модулю 54 объединения информации о периодичности.

В дальнейшем модули с 53-1 до 53-4 обнаружения интенсивности периодичности будут определяться просто как модули 53 обнаружения интенсивности периодичности, когда нет особой необходимости различать модули с 53-1 до 53-4 обнаружения интенсивности периодичности.

Модуль 54 объединения информации о периодичности выполняет обработку по объединению периодичности, объединяя информацию о периодичности для каждой временной секции, основываясь на информации о периодичности для каждой временной секции, которая передается из модулей 52 обнаружения периодичности, и информацию об интенсивности периодичности для каждой временной секции, которая передается из модулей 53 обнаружения интенсивности периодичности. В частности, модуль 54 объединения информации о периодичности получает сумму функции x(b, tau) автокорреляции, как информацию о частоте для временной секции при использовании следующего уравнения (1):

В уравнении (1) N_b представляет общее количество полос частоты, а p(b) представляет информацию об интенсивности периодичности. Кроме того, N_p представляет общее количество полос частоты, в которых p(b) является единицей.

Модуль 54 объединения информации о периодичности передает сумму S(tau) информации о периодичности для каждой временной секции, которая получается в результате обработки по объединению для каждой временной секции, к модулю 55 обнаружения пиков.

Модуль 55 обнаружения пиков выполняет обнаружение пиков в отношении суммы S(tau) информации о периодичности, которая подается от модуля 54 объединения информации о периодичности для каждой временной секции, и генерирует информацию P(tau) о пике, где значение в пиковом положении tau_p является единицей, а значения в положениях, отличающихся от пикового положения tau_p, являются нулевыми. В качестве способа обнаружения пиков существует способ обнаружения пиков за счет предположения, что индекс tau, когда дифференциальное значение суммы S(tau) информации о периодичности смещается от положительного значения к отрицательному значению, например, составляет в пиковом положении tau_p.

Кроме того, модуль 55 обнаружения пиков может рассматривать информацию P(tau_p) о пике в пиковом положении tau_p как нулевую, когда сумма S(tau_p) информации о периодичности в пиковом положении tau_p меньше, чем заданное пороговое значение. С такой конфигурацией возможно уменьшать шум в информации P(tau_p) о пике. Кроме того, информация о пике может быть самой суммой S(tau_p) информации о периодичности.

Модуль 55 обнаружения пиков передает информацию P(tau) о пике для каждой временной секции как данные в последовательном режиме количества признаков для звуковой синхронизации в каждой временной секции к модулю 56 понижения дискретизации.

Модуль 56 понижения дискретизации объединяет количество признаков для звуковой синхронизации во множестве временных секций, которые поступают из модуля 55 обнаружения пиков, а именно, информацию P(tau) о пике, во множество временных секций, как информацию для новой временной секции, и генерирует информацию о пике, как окончательное количество признаков для звуковой синхронизации. Другими словами, модуль 56 понижения дискретизации генерирует информацию о пике за счет понижения дискретизации информации P(tau) о пике.

В информации tau является индексом, показывающим временную задержку, a i является индексом, показывающим временную секцию. Модуль 56 понижения дискретизации отправляет информацию о пике в полученную таким образом временную секцию, как данные в последовательном режиме количества признаков для звуковой синхронизации в каждой временной секции, к модулю 24 обработки мультиплексирования.

Здесь будет приводиться описание генерирования информации о пике со ссылкой на фиг. 3. На фиг. 3 вертикальная ось представляет индекс tau, который показывает временную задержку, а горизонтальная ось представляет индекс i, который показывает время, а именно временную секцию.

В этом примере последовательность информации P(tau) о пике показана на верхней стороне чертежа, а последовательность информации о пике показывается на нижней стороне чертежа. В частности, временная задержка представлена с помощью tau, а информация P(tau) о пике во временной секции определяется индексом i, который представлен P_i(tau) на фиг. 3. Кроме того, каждый квадрат представляет информацию о пике во временной секции. В частности, белый квадрат представляет, что информация о пике, представленная в виде квадрата, равна нулю, а черный квадрат представляет, что информация о пике, представленная в виде квадрата, равна единице.

На чертеже длина временной секции для информации о пике, показанной на верхней стороне, составляет 8 миллисекунд. То есть, информация P_i(tau) о пике вычисляется во временном интервале 8 миллисекунд. Кроме того, четыре объекта информация P_i(tau) о пике с той же самой временной задержкой tau, которая является смежной в направлении времени (направление временной секции), объединяются в один, и получается информации о пике. Соответственно, временная секция для каждого объекта информации о пике составляет 32 миллисекунды.

Например, модуль 56 понижения дискретизации объединяет (понижает дискретизацию) информации P_i(tau) о пике с помощью вычисления следующего уравнения (2) и получает информацию о пике:

При вычислении уравнения (2) значение информации о пике, получаемой после объединения, рассматривается как «единица», если один или более объектов информации P_i(tau) о пике имеют значение «единица» из четырех непрерывных информации P_i(tau) о пике, которые должны объединяться. И наоборот, значение информации о пике, получаемой после объединения, рассматривается как «ноль», если все значения из четырех непрерывных информаций P_i(tau) о пике, которые должны объединяться, имеют значение «ноль».

За счет получения логической суммы объектов информации P_i(tau) о пике, которые продолжаются в направлении секции времени и понижают дискретизацию логической суммы, как описывалось выше, возможно исключить случай, где информация, относящаяся к положению пика, которая включается в состав объектов последовательности информации о пике, выровненной в направлении времени, удаляется вследствие понижения дискретизации. С такой конфигурацией возможно до некоторой степени поддерживать положение, относящееся к положению пика, когда оно смещается в направлении временной задержки, даже после понижения дискретизации.

Например, когда значение одного объекта информации P_i(tau) о пике среди объектов информации P_i(tau) о пике во множестве временных секций просто применяется как значение информации о пике после понижения дискретизации, для того чтобы понижать дискретизацию информации P_i(tau) о пике, при этом количество информации не является достаточным и точность синхронизированного вычисления ухудшается. Таким образом эксплуатационные показатели ухудшаются.

В частности, если информация P_i(tau) о пике просто сокращается, как информация о пике, когда положение пика смещается через четыре временные секции, например, только информация P_i(tau) о пике во временной секции в направлении смещения используется как окончательное количество признаков, а информация о том, что положение пика сместилось, теряется.

И наоборот, в соответствии с упоминавшимся выше способом вывода соответствующего значения как информации о пике, основываясь на информации P_i(tau) о пике во множестве временных секций для понижения дискретизации, возможно поддерживать информацию, что смещение произошло во временной секции, т.е. внутри временной секции после понижения дискретизации. В результате возможно поддерживать определение эксплуатационных показателей, даже если выполняется обработка для понижения дискретизации.

Кроме того, возможно уменьшать величину передачи в отношении количеств признаков для звуковой синхронизации за счет выполнения такой обработки для понижения дискретизации. Кроме того, возможно уменьшать емкость памяти или запоминающих устройств для поддержки вычисленных количеств признаков для звуковой синхронизации.

Кроме того, возможно уменьшать количество вычислений для выполнения обработки синхронизации между двумя количествами признаков для звуковой синхронизации. Поскольку количество признаков в процессе обработки синхронизации увеличивается в n² раз, поскольку длина входного количества признаков увеличивается в n раз, эффект обработки для понижения дискретизации является важным. И наоборот, поскольку эксплуатационные показатели обнаружения синхронизации ухудшаются, если просто выполняется сокращающая обработка, необходимо выполнять обработку для понижения дискретизации, в то же время поддерживая необходимую информацию, как в способе для понижения дискретизации, с помощью модуля 56 понижения дискретизации.

Хотя пример, в котором информация о пике, как количество признаков для звуковой синхронизации, была подвергнута обработке для понижения дискретизации в ¼, описывался со ссылкой на фиг. 3, также возможно выполнять преобразование (понижение дискретизации) с любым другим коэффициентом, например ½ или 1/8.

Кроме того, может использоваться способ, отличающийся от упоминавшегося выше способа вычисления по уравнению (2) для понижения дискретизации информации о пике.

Например, значение информации о пике после понижения дискретизации может рассматриваться как «единица», когда значения информации P_i(tau) о пике в двух или более временных секциях из числа четырех временных секций составляют «единицу». Альтернативно, значение информации о пике после понижения дискретизации может рассматриваться как «единица», когда значения информации P_i(tau) о пике в трех или более временных секциях составляют «единицу», или когда значения информации P_i(tau) о пике во всех четырех временных секциях составляют «единицу».

Кроме того, значение информации о пике после понижения дискретизации может рассматриваться как «единица», когда значения непрерывной информации P_i(tau) о пике в двух или более непрерывных временных секциях из числа четырех временных секций составляют «единицу» перед понижением дискретизации, или значение информации о пике после понижения дискретизации может рассматриваться как «единица», когда значения информации P_i(tau) о пике в трех или более непрерывных временных секциях составляют «единицу».

Хотя приведенное выше описание было дано как способ понижения дискретизации информации P_i(tau) о пике в направлении оси времени (направление временной секции), информация P_i(tau) о пике может подвергаться понижению дискретизации в направлении временной задержки tau.

В таком случае модуль 56 понижения дискретизации понижает дискретизацию информации P_i(tau) о пике, определяемую при вычислении следующего уравнения (3), при этом получается информация о пике:

При вычислении уравнения (3) четыре объекта информации P_i(tau) о пике в той же самой временной секции, которые непрерывно выравниваются в направлении временной задержки tau, объединяются и в результате получается одна информации о пике.

В это время значение информации о пике, полученное за счет объединения, рассматривается как «единица», когда одно или более значений информации P_i(tau) о пике из числа четырех объектов непрерывной информации P_i(tau) о пике, которые должны объединяться, составляют «единицу». И наоборот, значение информации о пике, полученное за счет объединения, рассматривается как «ноль», когда все значения из числа четырех объектов непрерывной информации P_i(tau) о пике, которые должны объединяться, составляют «ноль».

Кроме того, информация P_i(tau) о пике может подвергаться понижению дискретизации в обоих направлениях: как в направлении i, так и в направлении временной задержки tau.

В таком случае модуль 56 понижения дискретизации понижает дискретизацию информации P_i(tau) о пике, определяемую при вычислении следующего уравнения (4), при этом получается следующая информация о пике:

При вычислении уравнения (4) общая из четырех объектов информации P_i(tau) о пике, включающая в себя два объекта информации P_i(tau) о пике с той же самой разницей tau по времени, которые непрерывно выравниваются в направлении временной секции i, и два объекта информации P_i(tau) о пике, которые выравниваются таким образом, что они являются смежными по отношению к упоминавшимся выше двум объектам информации P_i(tau) о пике в направлении временной задержки tau, объединяются и получается один объект информации о пике.

В это время, значение информации о пике, получаемое при объединении, определяется как «единица», когда одно или более значений информации P_i(tau) о пике из числа четырех объектов непрерывной информации P_i(tau) о пике, которые должны объединяться, составляют «единицу». И наоборот, значение информации о пике, получаемое при объединении, определяется как «ноль», когда все значения четырех объектов информации P_i(tau) о пике, которые должны объединяться, составляют «ноль».

Модуль 56 понижения дискретизации получает информацию о пике за счет понижения дискретизации информации P(tau) о пике и посылает информацию о пике для каждой вновь полученной временной секции, как данные временной последовательности количества признаков для звуковой синхронизации для каждой временной секции, к модулю 24 обработки для мультиплексирования.

Пример конфигурации системы воспроизведения содержимого

В дальнейшем будет приводиться описание конфигурации системы воспроизведения содержимого, которая принимает главный сигнал передачи и вспомогательный сигнал передачи, которые передаются от обеспечивающего устройства 11, соответственно, как главный принимаемый сигнал и вспомогательный принимаемый сигнал, и воспроизводит главное содержимое и вспомогательное содержимое. Такая система воспроизведения содержимого конфигурируется, например, таким образом, как показано на фиг. 4.

Система воспроизведения содержимого, показанная на фиг. 4, включает в себя главное приемное устройство 81, модуль 82 отображения, громкоговоритель 83, микрофон 84, вспомогательное приемное устройство 85, модуль 86 отображения, и громкоговоритель 87. Хотя здесь показан случай, когда система воспроизведения содержимого конфигурируется из множества устройств, система воспроизведения содержимого может конфигурироваться из единственного устройства.

Главное приемное устройство 81 принимает главный принимаемый сигнал, передаваемый от обеспечивающего устройства 11, и контролирует воспроизведение главного содержимого, которое получается из главного принимаемого сигнала.

Главное приемное устройство 81 включает в себя модуль 111 ввода и модуль 112 обработки воспроизведения.

Модуль 111 ввода принимает главный принимаемый сигнал, передаваемый от обеспечивающего устройства 11 как главный принимаемый сигнал, и посылает главный принимаемый сигнал к модулю 112 обработки воспроизведения. Модуль 112 обработки воспроизведения выделяет сигнал изображения и звуковой сигнал главного содержимого, которые входят в состав главного принимаемого сигнала, приходящего от модуля 111 ввода, отсылает сигнал изображения к модулю 82 отображения и вызывает воспроизведение сигнала изображения модулем 82 отображения, отсылает звуковой сигнал к громкоговорителю 83 и вызывает воспроизведение громкоговорителем 83 звукового сигнала. Таким образом, модуль 112 обработки воспроизведения контролирует воспроизведение главного содержимого.

Модуль 82 отображения конфигурируется, например, из жидкокристаллического дисплея и отображает изображения (видеоизображения) главного содержимого, основываясь на сигнале изображения, передаваемом от модуля 112 обработки воспроизведения. Громкоговоритель 83 является устройством для воспроизведения звука, которое выводит звук главного содержимого, основываясь на звуковом сигнале, передаваемом от модуля 112 обработки воспроизведения.

Микрофон 84 записывает звук главного содержимого, выводимый из громкоговорителя 83, и высылает полученный в результате звуковой сигнал к вспомогательному приемному устройству 85.

Вспомогательное приемное устройство 85 принимает вспомогательный сигнал передачи, передаваемый от обеспечивающего устройства 11, как вспомогательный принимаемый сигнал, и контролирует воспроизведение вспомогательного содержимого, получаемого из вспомогательного принимаемого сигнала.

Вспомогательное приемное устройство 85 включает в себя вычислительный модуль 121 количества признаков для звуковой синхронизации, буфер 122, модуль 123 ввода, модуль 124 обработки разделения, буфер 125, модуль 126 вычисления синхронизации и модуль 127 обработки воспроизведения.

Вычислительный модуль 121 количества признаков для звуковой синхронизации вычисляет количество признаков для звуковой синхронизации из звукового сигнала, поступающего от микрофона 84, и отправляет количество признаков для звуковой синхронизации в буфер 122. Буфер 122 временно записывает количество признаков для звуковой синхронизации, поступающее из вычислительного модуля 121 количества признаков для звуковой синхронизации.

Модуль 123 ввода принимает вспомогательный принимаемый сигнал, передаваемый от обеспечивающего устройства 11, и отправляет вспомогательный принимаемый сигнал к модулю 124 обработки разделения. Модуль 124 обработки разделения разделяет вспомогательный принимаемый сигнал, поступающий из модуля 123 ввода, на количество признаков для звуковой синхронизации и вспомогательный сигнал канала, и поставляет количество признаков для звуковой синхронизации и вспомогательный сигнал канала к буферу 125. Буфер 125 временно записывает количество признаков для звуковой синхронизации и вспомогательный сигнал канала, поступающий из модуля 124 обработки разделения.

Модуль 126 вычисления синхронизации генерирует информацию о коррекции синхронизации в зависимости от количества признаков звука для синхронизации главного содержимого и вспомогательного содержимого, основываясь на количестве признаков для звуковой синхронизации, записанном в буфер 122 и количестве признаков для звуковой синхронизации, записанном в буфер 125, и передает информацию по корректированию синхронизации в модуль 127 обработки воспроизведения. То есть, модуль 126 вычисления синхронизации обнаруживает отклонение во времени воспроизведения между главным содержимым и вспомогательным содержимым за счет обработки соответствия между количеством признаков для звуковой синхронизации, выделяемым из звукового сигнала, получаемого с помощью собирания звука, и количеством признаков для звуковой синхронизации, входящим в состав вспомогательного приемного сигнала, и генерирует информацию по корректированию синхронизации, основываясь на количестве признаков для звука, которое показывает отклонение.

Модуль 127 обработки воспроизведения корректирует распределение по времени (время) воспроизведения вспомогательного сигнала канала, которое записывается в буфер 125, основываясь на информации по корректированию синхронизации, передаваемой из модуля 126 вычисления синхронизации, и передает сигнал изображения и звуковой сигнал, как вспомогательный сигнал канала, соответственно, к модулю 86 отображения, и громкоговорителю 87. То есть, модуль 127 обработки воспроизведения контролирует воспроизведение вспомогательного содержимого. Например, когда количество признаков для звуковой синхронизации обрабатывается как мультимедийный объект, при этом он синхронизируется и мультиплексируется с мультимедийным объектом вспомогательного сигнала канала за счет использования системы MPEG-4 (Экспертная группа по вопросам движущегося изображения), характеристика времени определяется для каждого блока доступа (AU), как минимальный блок каждого мультимедийного объекта. Поэтому возможно рассчитывать соответствующее распределение по времени (время) воспроизведения мультимедийного объекта вспомогательного сигнала канала из упоминавшейся выше информации по корректированию синхронизации.

Модуль 86 отображения конфигурируется, например, из жидкокристаллического дисплея и отображает изображение (видеоизображение) главного содержимого, основываясь на сигнале изображения, передаваемом от модуля 127 обработки воспроизведения. Громкоговоритель 87 является устройством для воспроизведения звука, которое выводит звук главного содержимого, основываясь на звуковом сигнале, передаваемом от модуля 127 обработки воспроизведения.

Пример конфигурации вычислительного модуля количества признаков для звуковой синхронизации

Более подробно конфигурация вычислительного модуля 121 количества признаков для звуковой синхронизации, показанного на фиг. 4, изображается, например, на фиг.5.

Вычислительный модуль 121 количества признаков для звуковой синхронизации включает в себя модуль 151 разделения полосы пропускаемых частот, модули со 152-1 до 152-4 обнаружения периодичности, модули со 153-1 до 153-4 обнаружения интенсивности периодичности, модуль 154 объединения информации о периодичности, модуль 155 обнаружения пиков.

Кроме того, поскольку модули от модуля 151 разделения полосы пропускаемых частот до модуля 155 обнаружения пиков являются такими же, как и модули от модуля 51 разделения полосы пропускаемых частот до модуля 55 обнаружения пиков, показанных на фиг. 2, их описание будет пропущено. Однако, также возможно устанавливать время смещения функции окна на различные значения для модуля 151 разделения полосы пропускаемых частот и модуля 51 разделения полосы пропускаемых частот. Например, когда вспомогательное приемное устройство 85 имеет достаточный вычислительный ресурс, то возможно выделять количество признаков для звуковой синхронизации с более точной степенью детализации за счет использования модулем 151 разделения полосы пропускаемых частот с меньшим временем смещения.

В дальнейшем модули со 152-1 до 152-4 обнаружения периодичности будут определяться просто как модули 152 обнаружения периодичности, когда нет особой необходимости различать между собой модули со 152-1 до 152-4 обнаружения периодичности, а модули со 153-1 до 153-4 обнаружения интенсивности периодичности будут определяться просто как модули 153 обнаружения интенсивности периодичности, когда нет особой необходимости различать между собой модули со 153-1 до 153-4 обнаружения интенсивности периодичности.

Пример конфигурации модуля вычисления синхронизации

Более подробно конфигурация модуля 126 вычисления синхронизации, показанного на фиг. 4, изображается, например, на фиг. 6.

Модуль 126 вычисления синхронизации, показанный на фиг. 6, включает в себя модуль 181 преобразования частоты кадров, модуль 182 преобразования частоты кадров, модуль 183 объединения блоков, модуль 184 объединения блоков, модуль 185 вычисления аналогичности, и дополнительный модуль 186 поиска оптимального пути.

Модуль 181 преобразования частоты кадров считывает данные в последовательном временном режиме количества признаков для звуковой синхронизации для каждой временной секции главного содержимого из буфера 122, преобразует частоту кадров количества признаков для звуковой синхронизации, и отсылает количество признаков для звуковой синхронизации с преобразованной частотой кадров в модуль 183 объединения блоков. Описанная здесь частота кадров представляет количество временных секций на единицу времени в данных в последовательном временном режиме количества признаков для звуковой синхронизации, а именно - длину временной секции.

Модуль 182 преобразования частоты кадров считывает данные в последовательном временном режиме количества признаков для звуковой синхронизации для каждой временной секции главного содержимого из буфера 125, преобразует частоту кадров количества признаков для звуковой синхронизации, и отсылает количество признаков для звуковой синхронизации с преобразованной частотой кадров в модуль 184 объединения блоков.

Количество признаков для звуковой синхронизации, поддерживаемое в буфере 122 и буфере 125, соответственно, имеют различные частоты кадров, а именно - различные длины временных секций в некоторых случаях.

Например, может быть рассмотрен случай, когда количество признаков для звуковой синхронизации, включенное в состав вспомогательного сигнала передачи, устанавливается таким образом, чтобы иметь низкую скорость передачи, для того чтобы уменьшить скорость передачи данных в битах для вспомогательного содержимого (вспомогательного сигнала передачи), которая обеспечивается из обеспечивающего устройства 11, в то время как количество признаков для звуковой синхронизации, вычисленное на основе звука, собранного микрофоном 84, устанавливается таким образом, чтобы иметь высокую скорость передачи, поскольку нет необходимости перемещать количество признаков для звуковой синхронизации.

В таком случае возможно рассматривать понижение дискретизации количества признаков для звуковой синхронизации, вычисленного на основе звука, собранного микрофоном 84, с помощью того же самого способа, например как в модуле 56 для понижения дискретизации, например, как показано на фиг. 7. Кроме того, вертикальная ось информации о пике в качестве количества признаков для звуковой синхронизации, представленного каждой из стрелок с Q11 по Q14 на фиг. 7, представляет временную задержку tau, а горизонтальная ось представляет временную секцию i. Кроме того, квадратик представляет информацию о пике во временной секции.

В этом примере информация о пике в качестве количества признаков для звуковой синхронизации получается как представленная стрелкой Q11, затем подвергается понижению дискретизации на стороне обеспечивающего устройства 11 и передается как информация о пике в более длинной временной секции, представленной стрелкой Q12, к вспомогательному приемному устройству 85. Здесь информация о пике во временной секции, соответствующая 8 мс, подвергается преобразованию частоты кадров (понижению дискретизации) для получения информации о пике во временной секции, соответствующей 32 мс.

И наоборот, вычислительный модуль 121 количества признаков для звуковой синхронизации во вспомогательном приемном устройстве 85 вычисляет количество признаков для звуковой синхронизации из звукового сигнала, получаемого за счет собирания звука главного содержимого, воспроизводимого главным приемным устройством 81, и в результате получает информацию о пике, представленную стрелкой Q13, как количество признаков для звуковой синхронизации. Здесь информация о пике, представленная стрелкой Q13, вычисляется для каждой временной секции, соответствующей 8 мс.

Количество признаков для звуковой синхронизации, получаемое как описывалось выше, с помощью вычислительного модуля 121 количества признаков для звуковой синхронизации, и количество признаков для звуковой синхронизации, принимаемое из обеспечивающего устройства 11, имеют различную длину временных секций, т.е. имеют различную частоту кадров. Таким образом, модуль 181 преобразования частоты кадров выполняет понижение дискретизации как преобразование частоты кадров в отношении количества признаков для звуковой синхронизации, получаемого с помощью вычислительного модуля 121 количества признаков для звуковой синхронизации. Таким образом, частоты кадров количеств признаков для звуковой синхронизации совпадают друг с другом и получают информацию о пике, как количество признаков для звуковой синхронизации, представленное стрелкой Q14. Количество признаков для звуковой синхронизации, представленное стрелкой Q14, является информацией о пике во временной секции, равной 32 мс.

После того как частоты кадров (длины временных секций) преобразуются таким образом, что они совпадают друг с другом, количество признаков для звуковой синхронизации используется для выполнения синхронизированного вычисления. За счет понижения дискретизации количества признаков для звуковой синхронизации на стороне вспомогательного приемного устройства 85, как описывалось выше, возможно регулировать произвольно выбранную частоту кадров (скорость передачи в битах).

Кроме того, также существует случай, в котором количество признаков для звуковой синхронизации, передаваемое к вспомогательному приемному устройству 85, имеет высокую скорость передачи, в то время как количество признаков для звуковой синхронизации, вычисленное на основе звука, собранного микрофоном 84, имеет низкую скорость передачи. Например, существует случай, в котором вычислительный ресурс вспомогательного приемного устройства 85 является недостаточным, и величина смещения кадра увеличивается, для того чтобы уменьшать необходимое количество расчетов для вычисления количества признаков для звуковой синхронизации.

В таком случае частота кадров количества признаков для звуковой синхронизации включается в состав вспомогательного сигнала передачи, который представлен, например, стрелкой Q21 на фиг. 8, подвергается понижению дискретизации модулем 182 преобразования частоты кадров с использованием того же способа, который использует модуль 56 понижения дискретизации, при этом получается количество признаков для звуковой синхронизации, представленное стрелкой Q22. На фиг. 8 вертикальная ось информации о пике, как количество признаков для звуковой синхронизации, обозначенная каждой из стрелок с Q21 по Q23, представляет временную задержку tau, а горизонтальная ось представляет временную секцию i. Кроме того, квадратик представляет информацию о пике во временной секции.

В этом примере информация о пике во временной секции длиной 8 мс подвергается преобразованию частоты кадров (понижению дискретизации) для получения информации о пике во временной секции, соответствующей 32 мс.

Кроме того, вычислительный модуль 121 количества признаков для звуковой синхронизации во вспомогательном приемном устройстве 85 вычисляет количество признаков для звуковой синхронизации из звукового сигнала, получаемого за счет собирания звука главного содержимого, воспроизводимого главным приемным устройством 81, и в результате получает информацию о пике, представленную стрелкой Q23, как количество признаков для звуковой синхронизации. Здесь информация о пике, представленная стрелкой Q23, вычисляется для каждой временной секции, соответствующей 32 мс.

Частота кадров количества признаков для звуковой синхронизации, содержащихся во вспомогательном сигнале передачи, и частота кадров количества признаков для звуковой синхронизации, вычисленная вспомогательным приемным устройством 85, могут быть настроены таким образом, чтобы они совпадали друг с другом за счет понижения дискретизации количества признаков для звуковой синхронизации, содержащихся во вспомогательном сигнале передачи, как описывалось выше.

Кроме того, хотя частоты кадров были настроены таким образом, чтобы они совпадали друг с другом за счет понижения дискретизации количества признаков для звуковой синхронизации, с более высокой частотой кадров в приведенном выше описании, частоты кадров могут быть настроены таким образом, чтобы совпадали друг с другом за счет повышения дискретизации количества признаков для звуковой синхронизации с более низкой частотой кадров.

В таком случае частота кадров количества признаков для звуковой синхронизации, которое включается в состав вспомогательного сигнала передачи, подвергается повышению дискретизации с помощью модуля 182 преобразования частоты кадров, например как показано на фиг. 9. На этой фиг. 9 вертикальная ось информации о пике, как количество признаков для звуковой синхронизации, обозначенная каждой из стрелок с Q31 по Q34, представляет временную задержку tau, а горизонтальная ось представляет временную секцию i. Кроме того, квадратик представляет информации о пике во временной секции.

В этом примере информация о пике, как количество признаков для звуковой синхронизации получается таким образом, как представлено стрелкой Q31, она подвергается понижению дискретизации на стороне обеспечивающего устройства 11 и передается как информация о пике в более длинной временной секции к вспомогательному приемному устройству 85, как представлено стрелкой Q32. Здесь информация о пике во временной секции 8 мс подвергается преобразованию частоты кадров (понижению дискретизации), чтобы получить информацию о пике во временной секции 32 мс.

И наоборот, вычислительный модуль 121 количества признаков для звуковой синхронизации во вспомогательном приемном устройстве 85 вычисляет количество признаков для звуковой синхронизации из звукового сигнала, полученного за счет собирания звука главного содержимого, воспроизводимого главным приемным устройством 81, и в результате получает информацию о пике, представленную стрелкой Q33, как количество признаков для звуковой синхронизации. Здесь информация о пике, представленная стрелкой Q33, вычисляется для каждой временной секции, соответствующей 8 мс.

В этом примере частоты кадров количества признаков для звуковой синхронизации, рассчитанные вычислительным модулем 121 количества признаков для звуковой синхронизации, и количество признаков для звуковой синхронизации, принятое от обеспечивающего устройства 11, не совпадают друг с другом.

Таким образом, модуль 182 преобразования частоты кадров униформизирует степень детализации временной синхронизации количеств признаков для звуковой синхронизации, используемых для синхронного вычисления с повышением дискретизации информации о пике, как количество признаков для звуковой синхронизации, принятого от обеспечивающего устройства 11, и вычисления информации о пике во временной секции 8 мс, которая представлена стрелкой Q34. Например, модуль 182 преобразования частоты кадров повышает дискретизацию информации о пике, полученную за счет вычисления следующего уравнения (5):

При вычислении уравнения (5) значение объекта информации о пике перед повышением дискретизации, которое имеет ту же самую временную задержку tau и имеет то же самое позиционное соотношение с четырьмя объектами P_i(tau) информации о пике после повышения дискретизации, которые являются смежными в направлении по времени (направление временной секции), определяется как значение каждого из четырех объектов P_i(tau) информации о пике после повышения дискретизации без какого-либо изменения.

За счет соответствующего повышения дискретизации количество признаков для звуковой синхронизации, используемого для синхронного вычисления в соответствии с более высокой частотой кадров, как описывалось выше, возможно реализовать точность синхронизации с предположительно высоким разрешением.

Кроме того, также возможно понижать дискретизацию, как количества признаков для звуковой синхронизации, содержащегося во вспомогательном сигнале передачи, так и количества признаков для звуковой синхронизации, вычисленного с помощью вычислительного модуля 121 количества признаков для звуковой синхронизации, для того чтобы уменьшать вычислительный ресурс во вспомогательном приемном устройстве 85.

За счет обеспечения модулей 181 и 182 преобразования частоты кадров, как описывалось выше, возможно синхронизировать количества признаков для звуковой синхронизации с различными частотами кадров. Кроме того, возможно назначать различные частоты кадров в соответствии с вычислительным ресурсом, полосой частот при передаче, и подобными параметрами, и увеличивать гибкость системы.

Возвращаясь к объяснению, приведенному со ссылкой на фиг. 6: модуль 183 объединения блоков принимает поступление данных в последовательном временном режиме количества признаков для звуковой синхронизации в каждую временную секцию главного содержимого от модуля 181 преобразования частоты кадров и выполняет объединение в секции блоков, в то же время рассматривая множество (например 64) непрерывных временных секций в качестве блока. Модуль 183 объединения блоков отправляет данные в последовательном временном режиме количества признаков для звуковой синхронизации в секциях блоков к модулю 185 вычисления аналогичности.

Модуль 184 объединения блоков принимает поступление данных в последовательном временном режиме количества признаков для звуковой синхронизации в каждую временную секцию главного содержимого от модуля 182 преобразования частоты кадров и выполняет объединение в секции блоков, в то же время рассматривая множество (например 64) непрерывных временных секций в качестве блока. Модуль 184 объединения блоков отправляет данные в последовательном временном режиме количества признаков для звуковой синхронизации в секциях блоков к модулю 185 вычисления аналогичности.

Кроме того, множество временных секций, которые конфигурируют блок, необязательно являются непрерывными временными секциями. Например, множество четных временных секций могут рассматриваться как один блок, и множество нечетных временных секций могут рассматриваться как один блок. В таком случае возможно выполнение прореживающей обработки данных в последовательном временном режиме количества признаков для звуковой синхронизации каждой из временных секций и за счет этого уменьшение количества вычислений.

Модуль 185 вычисления аналогичности вычисляет аналогичность между объектами данных в последовательном временном режиме количества признаков для звуковой синхронизации в секциях блоков, которые поступают от модулей 183 и 184 объединения блоков, а также генерирует матрицу аналогичности, которая показывает аналогичность между блоками. Модуль 185 вычисления аналогичности отправляет матрицу аналогичности к дополнительному модулю 186 поиска оптимального пути.

Дополнительный модуль 186 поиска оптимального пути ищет путь с оптимальной аналогичностью, в соответствии с матрицей аналогичности, поступающей от модуля 185 вычисления аналогичности, и генерирует информацию, показывающую разницу по времени между двумя блоками, соответствующими аналогичности на пути, как информацию по корректированию синхронизации, основанную на количестве признаков для звука. Затем модуль 186 поиска оптимального пути отправляет информацию по корректированию синхронизации, основанную на количестве признаков для звука, к модулю 127 обработки воспроизведения.

Как описывалось выше, модуль 126 вычисления синхронизации генерирует информацию по корректированию синхронизации в зависимости от количества признаков для звука, основываясь на информации об основном тоне звукового сигнала. Соответственно, возможно генерировать информацию по корректированию синхронизации на основе количества признаков для звука в устойчивом режиме работы, даже в том случае, когда в каждом звуковом сигнале содержится различный шум.

То есть, когда человек слышит множество звуков с различными частотными характеристиками, он может легко распознавать общий компонент, даже в том случае, когда в звуке содержится шум, за счет распознавания звука с одинаковой базовой частотой, т.е., за счет распознавания звука с одинаковым основным тоном. Настоящая технология достигается с учетом такого факта, и информация по корректированию синхронизации генерируется в устойчивом режиме работы в отношении шума за счет генерирования информации по корректированию синхронизации на основе информации об основном тоне.

Вычисление относительной аналогичности и поиск пути с помощью оптимальной аналогичности

Здесь будет приводиться описание вычисления относительной аналогичности и поиска пути с помощью оптимальной аналогичности.

Фиг. 10 является диаграммой, иллюстрирующей блоки в качестве целей вычисления аналогичности.

На фиг. 10 "i" является индексом блока количества признаков для звуковой синхронизации, полученного вычислительным модулем 121 количества признаков для звуковой синхронизации, a "j" является индексом блока количества признаков для звуковой синхронизации, включенного в состав вспомогательного приемного сигнала. Хотя эти количества признаков для звуковой синхронизации являются соответствующим образом подвергнутыми преобразованию частоты кадров модулями 181 и 182 преобразования частоты кадров, описание вычисления аналогичности будет продолжаться с допущением, что преобразование частоты кадров здесь не производилось, с целью упрощения объяснения.

Кроме того, X(i) представляет данные в последовательном временном режиме количества признаков для звуковой синхронизации в блоке с индексом j из числа количества признаков для звуковой синхронизации, принятых вычислительным модулем 121 количества признаков для звуковой синхронизации, a Y(j) представляет данные в последовательном временном режиме количества признаков для звуковой синхронизации в блоке с индексом j из числа количества признаков для звуковой синхронизации, включенных в состав вспомогательного принимаемого сигнала.

Как показано на фиг. 10, объектами вычисления аналогичности являются n x m комбинаций между каждым n X(i) и m Y(j).

Фиг. 11 является диаграммой, иллюстрирующей способ вычисления аналогичности.

В матрице на фиг. 11 горизонтальная ось представляет внутриблоковый номер временной секции, который представляет собой номер из верхней временной секции в блоке, а вертикальная ось представляет индекс tau. Кроме того, белый квадратик представляет, что данные в последовательном временном режиме P(tau) количества признаков для звуковой синхронизации с индексом tau во временной секции с соответствующим внутриблоковым номером временной секции равны нулю, а черный квадратик представляет, что данные в последовательном временном режиме P(tau) равны единице. Кроме того, количество временных секций, конфигурирующих блок, составляет четыре, и индекс tau составляет от нуля до трех в примере на фиг. 11.

Когда аналогичность между X(i) и Y(j) вычисляется как показано на фиг.11, сначала вычисляется произведение логических элементов X(i) cap Y(j) между X(i) и Y(j), а затем вычисляется логическая сумма произведения X(i) cup Y(j) между X(i) и Y(j). Когда аналогичность между X(i) и Y(j), каждый из которых конфигурируется из девяти 0с и семи 1с, вычисляется как показано на фиг. 11, сначала вычисляется произведение логических элементов X(i) cap Y(j), которое конфигурируется из двенадцати 0с и четырех 1с, а затем вычисляется логическая сумма X(i) cup Y(j), которая конфигурируется из шести 0с и десяти 1с.

Затем с помощью следующего уравнения (6) вычисляется аналогичность A (i, j) между X(i) и Y(j), основываясь на количестве Number (X(i) cap Y(j)), которое является количеством 1с в логическом элементе X(i) cap Y(j), и количестве Number (X(i) cap Y(j)), которое является количеством 1 с в логической сумме.

В примере, показанном на фиг. 11, количество Number (X(i) cap Y(j)) составляет четыре, количество Number (X(i) cup Y(j)), составляет десять, поэтому аналогичность A (i, j) составляет 0,4.

Когда сумма S(tau) информации периодичности применяется как данные в последовательном временном режиме количества признаков для звуковой синхронизации, в качестве способа вычисления аналогичности возможно использовать способ, в котором применяется косинусное расстояние.

Кроме того, матрица аналогичности является информацией, которая представляет аналогичность A (i, j) в каждой точке, соответствующей индексу i и индексу j, где горизонтальная ось представляет индекс j, а вертикальная ось представляет индекс i.

Модуль 186 поиска оптимального пути ищет путь с аналогичностью, интегрированное значение которой на матрице аналогичности является максимизированным, как путь с оптимальной аналогичностью, за счет использования динамического способа программирования. Модуль 186 поиска оптимального пути генерирует различные значения i-j индексов, соответствующие аналогичности на пути с оптимальной аналогичностью, как информации по корректированию синхронизации, основанной на количестве признаков для звука.

Объяснение обработки передачи

В дальнейшем будет приводиться описание работы обеспечивающего устройства 11.

Когда подаются главный сигнал канала и вспомогательный сигнал канала, которые взаимно синхронизированы по времени, обеспечивающее устройство 11 выполняет обработку передачи и передает главный сигнал передачи и вспомогательный сигнал передачи. В дальнейшем будет приводиться описание обработки передачи обеспечивающим устройством 11 со ссылкой на карту последовательности процесса на фиг. 12.

Во время шага S11 модуль 23 вычисления количества признаков для звуковой синхронизации выполняет обработку вычисления количества признаков для звуковой синхронизации из звукового сигнала, конфигурирующего подаваемый главный сигнал канала, и отправляет количество признаков для звуковой синхронизации к модулю 24 обработки мультиплексирования.

Подробное описание вычисления количества признаков для звуковой синхронизации будет приведено позже.

Во время шага S12 модуль 21 преобразования генерирует главный сигнал передачи за счет преобразования подаваемого главного сигнала канала в сигнал в заданном формате передачи, определяемом системой, и отправляет полученный главный сигнал передачи к модулю 22 вывода.

Во время шага S13 модуль 22 вывода передает главный сигнал передачи, получаемый из модуля 21 преобразования.

Во время шага S14 модуль 24 обработки мультиплексирования выполняет обработку мультиплексирования между количеством признаков для звуковой синхронизации и вспомогательным сигналом канала, а также отправляет полученный в результате вспомогательный сигнал передачи к модулю 25 вывода.

Например, модуль 24 обработки мультиплексирования производит мультиплексирование количества признаков для звуковой синхронизации и вспомогательного сигнала канала в формате передачи, определяемом системой таким образом, что удовлетворяется синхронизированное по времени соотношение между количеством признаков для звуковой синхронизации из модуля 23 вычисления количества признаков для звуковой синхронизации и получаемым вспомогательным сигналом канала, за счет использования подаваемого главного сигнала канала.

С такой конфигурацией получается вспомогательный сигнал передачи, показанный например, на фиг. 13.

В примере на фиг. 13 каждая секция T11 и секция Т12 в потоке двоичных сигналов, как вспомогательный сигнал передачи включает в себя сигнал изображения, звуковой сигнал и количество признаков для звуковой синхронизации в одном кадре.

Например, сигнал изображения и звуковой сигнал включаются в состав секции Т11, соответствующей вспомогательному сигналу канала в одном кадре, а количество признаков для звуковой синхронизации, включенное в состав секции Т11, является количеством признаков для звуковой синхронизации, которое выделяется из главного сигнала канала в кадре, который временно соответствует вспомогательному сигналу канала. Как описывалось выше, вспомогательный сигнал канала и количество признаков для звуковой синхронизации в том же самом кадре объединяются и мультиплексируются во вспомогательном сигнале передачи, поэтому возможно устанавливать количество признаков для звуковой синхронизации, соответствующее вспомогательному сигналу канала в каждом кадре на стороне приема вспомогательного сигнала передачи.

Возвращаясь к объяснению карты последовательности процесса на фиг. 12: модуль 25 вывода передает вспомогательный сигнал передачи, поступающий от модуля 24 обработки мультиплексирования во время шага S15 и завершает обработку по передаче.

Как описывалось выше, обеспечивающее устройство 11 генерирует вспомогательный сигнал передачи с помощью объединения и мультиплексирования количества признаков для звуковой синхронизации, получаемого из главного сигнала канала со вспомогательным сигналом канала и передает вспомогательный сигнал передачи и главный сигнал передачи.

За счет взаимодействия и передачи количества признаков для звуковой синхронизации со вспомогательным сигналом канала, как описывалось выше, возможно воспроизводить главное содержимое и вспомогательное содержимое, в то же время поддерживая синхронизацию, за счет использования количеств признаков для звуковой синхронизации, даже в том случае, когда главный сигнал канала и вспомогательный сигнал канала принимаются множеством различных устройств через различные пути передачи на приемной стороне.

Объяснение процесса обработки вычисления количества признаков для звуковой синхронизации

В дальнейшем будет приводиться описание процесса обработки вычисления количества признаков для звуковой синхронизации, соответствующего обработке во время шага S11 на фиг. 12 со ссылкой на карту последовательности процесса на фиг. 14.

Во время шага S41 модуль 51 разделения полосы пропускаемых частот разделяет подаваемый звуковой сигнал во временных секциях от приблизительно нескольких десятков миллисекунд до приблизительно сотни миллисекунд за счет использования функции окна.

Во время шага S42 модуль 51 разделения полосы пропускаемых частот разделяет звуковой сигнал в каждой временной секции на четыре полосы пропускаемых частот за счет использования множества полосовых пропускающих фильтров. Модуль 51 разделения полосы пропускаемых частот подает звуковые сигналы в соответствующих полосах пропускаемых частот к соответствующим модулям с 52-1 до 52-4 обнаружения периодичности.

Во время шага S43 каждый модуль 52 обнаружения периодичности выделяет информацию периодичности для каждой временной секции за счет вычисления автокорреляционной функции x(b, tau) звукового сигнала в каждой временной секции в заданной полосе пропускаемых частот, которая поступает из модуля 51 разделения полосы пропускаемых частот, и передает информацию периодичности к модулю 53 обнаружения интенсивности периодичности и к модулю 54 объединения информации о периодичности. Кроме того, обработка во время шага S43 выполняется каждым из модулей 52 обнаружения периодичности.

Во время шага S44 модуль 53 обнаружения интенсивности периодичности вычисляет интенсивность периодичности для каждой временной секции, основываясь на информации периодичности для каждой временной секции, которая поступает от модуля 52 обнаружения периодичности. Затем модуль 53 обнаружения интенсивности периодичности генерирует информацию об интенсивности периодичности для каждой временной секции за счет преобразования в двоичную форму интенсивности периодичности для каждой временной секции в зависимости от того, превышает или нет эта интенсивность пороговое значение, и отсылает информацию об интенсивности периодичности к модулю 54 объединения информации о периодичности. Кроме того, обработка во время шага S44 выполняется каждым из модулей 53 обнаружения интенсивности периодичности.

Во время шага S45 модуль 54 объединения информации о периодичности выполняет обработку по объединению периодичности за счет использования упоминавшегося выше уравнения (1) на основе информации периодичности для каждой временной секции, которая отсылается из модуля 52 обнаружения периодичности, и информации об интенсивности периодичности для каждой временной секции, которая отсылается из модуля 53 обнаружения интенсивности периодичности. Модуль 54 объединения информации о периодичности отправляет сумму S(tau) информации периодичности для каждой временной секции, которая получается в результате обработки по объединению периодичности, к модулю 55 обнаружения пиков.

Во время шага S46 модуль 55 обнаружения пиков выполняет обнаружение пиков с использованием суммы S(tau) информации периодичности, которая поступает от модуля 54 объединения информации о периодичности, для каждой временной секции, генерирует информацию P(tau) о пике и отправляет информацию P(tau) о пике к модулю 56 понижения дискретизации.

Во время шага S47 модуль 56 понижения дискретизации выполняет процесс понижения дискретизации в отношении информации о пике за счет объединения информации P(tau) о пике во множестве временных секций, которые поступают из модуля 55 обнаружения пиков, в информацию о пике в одной временной секции.

Модуль 56 понижения дискретизации отправляет информацию о пике для каждой временной секции, получаемую как описывалось выше, как данные в последовательном режиме количества признаков для звуковой синхронизации для каждой временной секции, к модулю 24 обработки для мультиплексирования и завершает обработку по вычислению количества признаков для звуковой синхронизации. Если обработка по вычислению количества признаков для звуковой синхронизации завершается, тогда процесс обработки переходит к шагу S12 на фиг. 12.

Модуль 23 вычисления количества признаков для звуковой синхронизации вычисляет количество признаков для звуковой синхронизации на основе информации периодичности, как описывалось выше, и поэтому возможно генерировать количество признаков для звуковой синхронизации в устойчивом временном режиме.

Объяснение процесса обработки для воспроизведения главного содержимого

Если главный сигнал передачи передается от обеспечивающего устройства 11, система воспроизведения содержимого принимает главный сигнал передачи как главный принимаемый сигнал и воспроизводит главное содержимое. В дальнейшем будет приводиться описание обработки для воспроизведения содержимого системой воспроизведения содержимого со ссылкой на карту последовательности процесса на фиг. 15.

Во время шага S71 модуль 111 ввода принимает главный принимаемый сигнал и отправляет главный принимаемый сигнал к модулю 112 обработки для воспроизведения. Например, модуль 111 ввода принимает главный принимаемый сигнал за счет приема главного принимаемого сигнала, передаваемого от обеспечивающего устройства 11.

Во время шага S72 модуль 112 обработки для воспроизведения воспроизводит главное содержимое, основываясь на главном принимаемом сигнале, передаваемом от модуля 111 ввода, и завершает обработку для воспроизведения главного содержимого.

Например, модуль 112 обработки для воспроизведения выделяет сигнал изображения и звуковой сигнал главного содержимого из главного принимаемого сигнала, передает сигнал изображения к модулю 82 отображения, вызывает воспроизведение модулем 82 отображения сигнала изображения, передает звуковой сигнал к громкоговорителю 83 и вызывает воспроизведение громкоговорителем 83 звукового сигнала. С такой конфигурацией воспроизводится главное содержимое.

Как описывалось выше, система для воспроизведения содержимого принимает главный принимаемый сигнал и воспроизводит главное содержимое.

Объяснение процесса обработки для воспроизведения вспомогательного содержимого

Кроме того, система для воспроизведения содержимого принимает вспомогательный принимаемый сигнал и воспроизводит вспомогательное содержимое в синхронизации с воспроизведением главного содержимого. В дальнейшем будет приводиться описание обработки для воспроизведения вспомогательного содержимого системой воспроизведения содержимого со ссылкой на карту последовательности процесса на фиг. 16.

Во время шага S101 модуль 123 ввода принимает вспомогательный принимаемый сигнал и отправляет вспомогательный принимаемый сигнал к модулю 124 обработки разделения. Например, модуль 123 ввода принимает вспомогательный принимаемый сигнал за счет приема вспомогательного сигнала передачи, передаваемого от обеспечивающего устройства 11, как вспомогательный принимаемый сигнал.

Во время шага S102 модуль обработки разделения производит разделение вспомогательного принимаемого сигнала, поступающего от модуля 123 ввода, на вспомогательный сигнал канала и количество признаков для звуковой синхронизации, отправляет разделенный вспомогательный сигнал канала и количество признаков для звуковой синхронизации к буферу 125, и вызывает записывание буфером 125 вспомогательного сигнала канала и количества признаков для звуковой синхронизации.

Во время шага S103 микрофон 84 собирает звук главного содержимого, выходящий из громкоговорителя 83, и отправляет полученный в результате звуковой сигнал к вычислительному модулю 121 количества признаков для звуковой синхронизации. Во время шага S103 звук главного содержимого, воспроизводимый, например, при обработке во время шага S72 на фиг. 15, собирается.

Во время шага S104 вычислительный модуль 121 количества признаков для звуковой синхронизации выполняет обработку вычисления количества признаков для звуковой синхронизации, для того чтобы вычислять количество признаков для звуковой синхронизации из звукового сигнала, поступающего от микрофона 84, отправляет количество признаков для звуковой синхронизации к буферу 122 и вызывает запись буфером 122 количества признаков для звуковой синхронизации.

Хотя обработка во время шагов с S131 по S136, показанная в карте последовательности процесса на фиг. 17, выполняется как обработка вычисления количества признаков для звуковой синхронизации, эта обработка аналогична обработке во время шагов с S41 по S46 на фиг. 14, поэтому ее описание будет пропущено. Однако, в обработке вычисления количества признаков для звуковой синхронизации, показанной на фиг. 17, количество признаков для звуковой синхронизации вычисляется из звукового сигнала, поступающего от микрофона 84, и аккумулируется в буфере 122. Кроме того, вычислительный модуль 121 количества признаков для звуковой синхронизации рассматривает информацию о пике, получаемую модулем 155 обнаружения пиков, как количество признаков для звуковой синхронизации.

Возвращаясь к объяснению карты последовательности процесса на фиг. 16: модуль 126 вычисления синхронизации выполняет обработку по генерированию информации по корректированию синхронизации, чтобы генерировать информацию для корректирования синхронизации, основываясь на количестве признаков для звука, и отправляет информацию для корректирования синхронизации к модулю 127 обработки воспроизведения во время шага S105. Хотя подробное описание обработки по генерированию информации для корректирования синхронизации приводится ниже, информация для корректирования синхронизации, основанная на количестве признаков для звука с целью синхронизации главного содержимого со вспомогательным содержимым при этой обработке, генерируется при сравнении количества признаков для звуковой синхронизации, записанного в буфер 122, и количества признаков для звуковой синхронизации, записанного в буфер 125.

Во время шага S106 модуль 127 обработки воспроизведения корректирует распределение воспроизведения по времени вспомогательного сигнала канала, записанного в буфер 125 в соответствии с информацией для корректированию синхронизации, основанной на количестве признаков для звука, которая поступает от модуля 126 вычисления синхронизации и воспроизводит вспомогательное содержимое, основываясь на вспомогательном сигнале канала после коррекции.

Таким образом, модуль 127 обработки воспроизведения поставляет сигнал изображения и звуковой сигнал, которые конфигурируют вспомогательный сигнал канала, к модулю 86 отображения и громкоговорителю 87 раньше или с задержкой по времени, обозначенной информацией по корректированию синхронизации, основываясь на количестве признаков для звука, и приводит к воспроизведению модулем 86 отображения и громкоговорителем 87 сигнала изображения и звукового сигнала. Другими словами, воспроизводится часть вспомогательного содержимого во время воспроизведения, соответствующего части главного содержимого, воспроизводимого в текущее время, которое определяется информацией по корректированию синхронизации на основе количестве признаков для звука.

Например, регулирование (коррекция) положения воспроизведения для синхронизации вспомогательного содержимого с главным содержимым выполняется в секциях, не содержащих звук, во вспомогательном содержимом и главном содержимом.

Модуль 86 отображения отображает изображение вспомогательного содержимого, основываясь на сигнале изображения, поступающем от модуля 127 обработки воспроизведения, а громкоговоритель 87 выводит звук вспомогательного содержимого, основываясь на звуковом сигнале, поступающем от модуля 127 обработки воспроизведения.

Если вспомогательное содержимое воспроизводится в синхронизации с главным содержимым, как описывалось выше, то обработка воспроизведения вспомогательного содержимого завершается.

Как описывалось выше, система воспроизведения содержимого вычисляет количество признаков для звуковой синхронизации из звукового сигнала, получаемого за счет сбора звука главного содержимого, которое должно воспроизводиться, и вычисляет информацию для корректирования синхронизации, основываясь на количестве признаков для звука, за счет использования полученного количества признаков для звуковой синхронизации и количества признаков для звуковой синхронизации, включенного в состав вспомогательного принимаемого сигнала. Кроме того, система воспроизведения содержимого воспроизводит вспомогательное содержимое в синхронизации с главным содержимым за счет использования полученной информации по корректированию синхронизации.

При вычислении информации по корректированию синхронизации на основе количества признаков для звука за счет использования количества признаков для звуковой синхронизации, выделенного из звукового сигнала, который получается за счет сбора звука, и количества признаков для звуковой синхронизации, включенного в состав вспомогательного принимаемого сигнала, как описывалось выше, возможно воспроизводить главное содержимое и вспомогательное содержимое в синхронизированном режиме, даже в том случае, когда пути передачи главного содержимого и вспомогательного содержимого являются различными.

Хотя вычисление синхронизации для количества признаков звуковой синхронизации, т.е. обработка по приведению в соответствие, выполняется для каждого кадра в этом примере, вычисление синхронизации для количества признаков звуковой синхронизации необязательно выполнять в непрерывном по времени режиме, и оно может выполняться с перерывами. Однако, возможно корректировать время воспроизведения (положение воспроизведения) вспомогательного содержимого без неприятного ощущения, как происходит в том случае, когда вычисление синхронизации выполняется непрерывно.

Объяснение обработки по генерированию информации для корректирования синхронизации

В дальнейшем будет приводиться описание обработки по генерированию информации для корректирования синхронизации, соответствующей обработке во время шага S105 на фиг. 16 со ссылкой на карту последовательности процесса на фиг.18.

Во время шага S161 модуль 181 преобразования частоты кадров и модуль 182 преобразования частоты кадров выполняют обработку по преобразованию частоты кадров по мере необходимости.

Таким образом, модуль 181 преобразования частоты кадров считывает данные в последовательном временном режиме количества признаков для звуковой синхронизации для каждой временной секции главного содержимого из буфера 122, выполняет преобразование частоты кадров, т.е. производит понижение дискретизации количества признаков для звуковой синхронизации по мере необходимости, и отсылает количество признаков для звуковой синхронизации в модуль 183 объединения блоков. Кроме того, модуль 182 преобразования частоты кадров считывает данные в последовательном временном режиме количества признаков для звуковой синхронизации для каждой временной секции главного содержимого из буфера 125, выполняет преобразование частоты кадров, т.е. производит понижение или повышение дискретизации количества признаков для звуковой синхронизации по мере необходимости, и отсылает количество признаков для звуковой синхронизации в модуль 184 объединения блоков.

Во время шага S162 модуль 183 объединения блоков и модуль 184 объединения блоков объединяют данные в последовательном временном режиме количеств признаков для звуковой синхронизации.

В частности, модуль 183 объединения блоков принимает поступление данных в последовательном временном режиме количества признаков для звуковой синхронизации для каждой временной секции главного содержимого из модуля 181 преобразования частоты кадров. Затем модуль 183 объединения блоков рассматривает множество (например 64) непрерывных временных секций в качестве одного блока, объединяет поступающие данные в последовательном временном режиме количества признаков для звуковой синхронизации для каждой временной секции в секциях блоков, и отправляет данные в последовательном временном режиме к модулю 185 вычисления аналогичности.

Кроме того, модуль 184 объединения блоков принимает поступление данных в последовательном временном режиме количества признаков для звуковой синхронизации для каждой временной секции главного содержимого из модуля 182 преобразования частоты кадров. Затем модуль 184 объединения блоков рассматривает множество (например 64) непрерывных временных секций в качестве одного блока, объединяет поступающие данные в последовательном временном режиме количества признаков для звуковой синхронизации для каждой временной секции в секциях блоков, и отправляет данные в последовательном временном режиме к модулю 185 вычисления аналогичности.

Во время шага S163 модуль 185 вычисления аналогичности вычисляет аналогичность между объектами данных в последовательном временном режиме количества признаков для звуковой синхронизации в секциях блоков, которые поступают от модулей 183 и 184 объединения блоков, а также генерирует матрицу аналогичности, которая показывает аналогичность между соответствующими блоками. Модуль 185 вычисления аналогичности отправляет матрицу аналогичности к модулю 186 поиска оптимального пути.

Во время шага S164 модуль 186 поиска оптимального пути ищет путь с оптимальной аналогичностью из матрицы аналогичности, поступающей из модуля 185 вычисления аналогичности, и генерирует информацию для корректирования синхронизации, основываясь на количестве признаков для звука. Затем модуль 186 поиска оптимального пути передает информацию для корректирования синхронизации, основанную на количестве признаков для звука, к модулю 127 обработки воспроизведения и завершает обработку по генерированию информации для корректирования синхронизации.

Как описывалось выше, система воспроизведения содержимого генерирует информацию для корректирования синхронизации, основанную на количестве признаков для звука, в соответствии с информацией по периодичности, поэтому система воспроизведения содержимого может генерировать информацию для корректирования синхронизации в устойчивом режиме.

Хотя выше было приведено описание случая, в котором количество фрагментов главного содержимого составляет один, количество фрагментов главного содержимого может составлять два или более.

В таком случае модуль 23 вычисления количества признаков для звуковой синхронизации в обеспечивающем устройстве 11 вычисляет количество признаков для звуковой синхронизации для каждого из множества фрагментов главного содержимого, а модуль 24 обработки для мультиплексирования производит мультиплексирование вспомогательного сигнала канала фрагмента вспомогательного содержимого и количество признаков для звуковой синхронизации множества фрагментов главного содержимого, и получает вспомогательный сигнал передачи. Кроме того, модуль 22 вывода передает главные сигналы передачи, получаемые из главных сигналов канала множества фрагментов главного содержимого.

Кроме того, в этом случае модуль 112 обработки воспроизведения в системе воспроизведения содержимого, показанной на фиг. 4, выбирает и воспроизводит один из множества фрагментов главного содержимого. Кроме того, модуль 123 ввода принимает вспомогательный принимаемый сигнал, в котором количество признаков для звуковой синхронизации множества фрагментов главного содержимого сопоставляется с единственным вспомогательным сигналом канала.

Кроме того, модуль 126 вычисления синхронизации вычисляет аналогичность за счет сравнения количества признаков для звуковой синхронизации в каждом из фрагментов главного содержимого, который принимается модулем 123 ввода, с количеством признаков для звуковой синхронизации, получаемых вычислительным модулем 121 количества признаков для звуковой синхронизации, и определяет главное содержимое, воспроизводимое громкоговорителем 83. Например, воспроизводится главное содержимое с количеством признаков для звуковой синхронизации, которое имеет наибольшую аналогичность, в результате сопоставления с количеством признаков для звуковой синхронизации, рассматриваемых как главное содержимое.

Если определяется воспроизводимое главное содержимое, положение воспроизведения вспомогательного содержимого корректируется на основе полученной информации для корректирования синхронизации, основанной на количестве признаков для звуковой синхронизации определенного главного содержимого. Таким образом, модуль 126 вычисления синхронизации генерирует информацию для корректирования синхронизации, которая основывается на количестве признаков для звука с целью синхронизации определенного главного содержимого со вспомогательным содержимым.

Пример 1 применения настоящей технологии

Настоящая технология, как она описывалась до настоящего времени, может применяться для различных систем.

Например, настоящая технология может применяться для системы, показанной на фиг. 19.

В системе, например, показанной на фиг. 19, обеспечивающее устройство 211, такое как широковещательная станция, соответствует обеспечивающему устройству 11 на фиг.1. Обеспечивающее устройство 211 обеспечивает как главное содержимое, так и вспомогательное содержимое.

В этом примере обеспечивающее устройство 211 передает главный сигнал передачи к главному приемному устройству 212, например, за счет радио- или телевизионного вещания главного сигнала передачи главного содержимого, например, за счет волн радио- или телевизионного вещания. Затем главное приемное устройство 212 принимает главный сигнал передачи, передаваемый с помощью волны радио- или телевизионного вещания как главный принимаемый сигнал и воспроизводит главное содержимое. В это время главное приемное устройство 212 выводит звук главного содержимого с помощью громкоговорителя 213, обеспечиваемого в главном приемном устройстве 212.

Соответственно, главное приемное устройство 212 конфигурируется из главного приемного устройства 81, модуля 82 отображения, и громкоговорителя 83, показанного в этом примере на фиг. 4. В таком случае устройство 111 ввода принимает главный принимаемый сигнал, передаваемый через волны радио- или телевизионного вещания. Кроме того, громкоговоритель 213 соответствует громкоговорителю 83 на фиг. 4.

Например, главное приемное устройство 212 является телевизионным приемником или подобным устройством, а пользователь просматривает и слушает главное содержимое, воспроизводимое главным приемным устройством 212.

И наоборот, обеспечивающее устройство 211 также передает вспомогательный сигнал передачи. В этом примере обеспечивающее устройство 211 передает вспомогательный сигнал передачи к вспомогательному приемному устройству 215 за счет распределения потоковой передачи данных или подобного параметра через коммуникационную сеть 214, включая Интернет. Здесь вспомогательный сигнал передачи передается с помощью так называемой коммуникации в телетайпном режиме (push-type).

Кроме того, вспомогательное приемное устройство 215 конфигурируется, например, из оконечного устройства планшетного типа, принимает вспомогательный сигнал передачи, передаваемый через коммуникационную сеть 214 как вспомогательный принимаемый сигнал, и воспроизводит вспомогательное содержимое. Таким образом, вспомогательное приемное устройство 215 вызывает отображение встроенным модулем отображения изображение вспомогательного содержимого и вызывает выведение звуков встроенным громкоговорителем, чтобы выводить звуки вспомогательного содержимого.

В это время вспомогательное приемное устройство 215 вычисляет количество признаков для звуковой синхронизации за счет сбора звука при выводе главного содержимого из громкоговорителя 213, и генерирует информацию для корректирования синхронизации, основываясь на количестве признаков для звука за счет использования полученного количества признаков для звуковой синхронизации и количества признаков для звуковой синхронизации, которое включено в состав вспомогательного принимаемого сигнала. В этом случае вспомогательное приемное устройство 215 воспроизводит вспомогательное содержимое в синхронизации с главным содержимым за счет использования информации для корректирования синхронизации, основанной на количестве признаков для звука.

С такой конфигурацией главное содержимое, которое воспроизводится главным приемным устройством 212, и вспомогательное содержимое, которое воспроизводится вспомогательным приемным устройством 215, вместе воспроизводятся в синхронизированном режиме, и пользователь может просматривать и слушать главное содержимое, в то же время соответствующим образом просматривая и слушая вспомогательное содержимое. Таким образом, пользователь может пользоваться главным содержимым, в то же время используя вспомогательное содержимое, например, в качестве дополнительной информации главного содержимого.

В этом примере вспомогательный сигнал канала вспомогательного содержимого является сигналом изображения для видео с другой точки зрения по отношению к видео главного содержимого, звуковой сигнал для озвучивания комментариев по отношению к главному содержимому, буквенно-цифровая информация по отношению к главному содержимому, или подобная информация.

В таком случае вспомогательное приемное устройство 215 конфигурируется из микрофона 84, вспомогательного приемного устройства 85, модуля 86 отображения, и громкоговорителя 87, например показанных на фиг. 4. Соответственно, модуль 123 ввода принимает вспомогательный сигнал передачи, передаваемый через коммуникационную сеть 214 как вспомогательный принимаемый сигнал.

В примере на фиг. 19 возможно просто и точно воспроизводить главное содержимое и вспомогательное содержимое, которые передаются через различные пути передачи в синхронизированном режиме с помощью коммуникации в телетайпном режиме типа «push-type» на принимающей стороне, как описывалось выше. В этом примере необходимо передавать вспомогательный сигнал передачи перед главным сигналом передачи. Т.е. необходимо передавать главный сигнал передачи и вспомогательный сигнал передачи с разницей во времени, определяемой с учетом разницы между временем прихода главного сигнала передачи к главному приемному устройству 212 и временем прихода вспомогательного сигнала передачи к вспомогательному приемному устройству 215.

Пример 2 применения настоящей технологии

Кроме того, настоящая технология может применяться для системы, например показанной на фиг. 20. На фиг. 20 в отношении частей системы, соответствующим частям системы на фиг. 19, приводятся одинаковые цифровые позиции и их описания пропускаются.

В примере, показанном на фиг. 20, главный сигнал передачи передается к главному приемному устройству 212 с помощью волн радио- или телевизионного вещания, т.е. через коммуникацию в телетайпном режиме типа «push-type» из обеспечивающего устройства 211 таким же способом, как в примере на фиг. 19.

И наоборот, вспомогательный сигнал передачи передается к вспомогательному приемному устройству 215 из сервера 241 через коммуникационную сеть 214. Кроме того, сервер 241 принимает вспомогательный принимаемый сигнал заранее из обеспечивающего устройства 211 или подобного устройства с помощью определенного способа и записывает на него этот вспомогательный принимаемый сигнал.

В этом примере вспомогательный принимаемый сигнал передается через так называемую коммуникацию в телетайпном режиме типа «push-type». Соответственно, сервер 241 передает вспомогательный сигнал передачи к вспомогательному приемному устройству 215 через коммуникационную сеть 214, когда вспомогательное приемное устройство 215 запрашивает передачу вспомогательного сигнала передачи.

Таким образом, модуль 123 ввода во вспомогательном приемном устройстве 85 на фиг. 4, соответствующий вспомогательному приемному устройству 215, передает запрос на передачу вспомогательного сигнала передачи к серверу 241 и принимает как вспомогательный принимаемый сигнал вспомогательный сигнал передачи из сервера 241, в соответствии с запросом на передачу.

В таком случае вспомогательное приемное устройство 215 может принимать и записывать вспомогательный сигнал передачи заранее, до передачи радио- или телевизионного вещания главного содержимого. Соответственно, если вспомогательный сигнал передачи принимается и записывается заранее, существует возможность предотвращать ситуацию, в которой невозможно воспроизводить вспомогательное содержимое в синхронизации с главным содержимым вследствие состояния коммуникационной сети 214 или другого фактора, когда производится радио- или телевизионное вещание главного содержимого.

Если воспроизведение главного содержимого запускается главным приемным устройством 212, вспомогательное приемное устройство 215 собирает звук при выводе главного содержимого из громкоговорителя 213 и вычисляет количество признаков для звуковой синхронизации. Затем вспомогательное приемное устройство 215 генерирует информацию для корректирования синхронизации, основанную на количестве признаков для звука за счет использования полученного количества признаков для звуковой синхронизации и количества признаков для звуковой синхронизации, включенного в состав вспомогательного принимаемого сигнала, и воспроизводит вспомогательное содержимое в синхронизации с главным содержимым за счет использования информации для корректирования синхронизации.

В примере на фиг. 20 вспомогательное приемное устройство 215 может принимать вспомогательный принимаемый сигнал с распределением по времени, которое является удобным для самого вспомогательного приемного устройства 215.

Пример 3 применения настоящей технологии

Кроме того, настоящая технология может применяться для системы, например показанной на фиг. 21. На фиг. 21 в отношении частей системы, соответствующих частям системы на фиг. 20, приводятся одинаковые цифровые позиции, при этом их описания пропускаются.

В примере на фиг. 21 главное содержимое, т.е. главный сигнал передачи обеспечивается сервером 271, который отличается от сервера 241. Сервер 271 передает записанный главный сигнал передачи к главному приемному устройству 212 через коммуникационную сеть 272 в ответ на запрос от главного приемного устройства 212. Т.е. главный сигнал передачи передается в этом примере с помощью связи типа «pull-type».

В частности, модуль 111 ввода в главном приемном устройстве 81 на фиг. 4, соответствующий главному приемному устройству 212, передает запрос на передачу главного сигнала передачи к серверу 271 и принимает как главный принимаемый сигнал главный сигнал передачи, переданный от сервера 271 в ответ на запрос на передачу.

В таком случае главное приемное устройство 212 может принимать и записывать главный сигнал передачи заранее. Соответственно, если главный сигнал передачи принимается и записывается заранее, существует возможность предотвращать ситуацию, в которой воспроизведение главного содержимого сопровождается паузами или остановками вследствие состояния коммуникационной сети 272 или другого подобного фактора, когда воспроизводится главное содержимое.

Кроме того, вспомогательный сигнал передачи передается сервером 241 через коммуникацию типа «pull-type» таким же способом, как и в примере для фиг. 20.

Если запускается воспроизведение главного содержимого главным приемным устройством 212, вспомогательное приемное устройство 215 собирает звук главного содержимого, выходящий из громкоговорителя 213, и вычисляет количество признаков для звуковой синхронизации. Затем вспомогательное приемное устройство 215 генерирует информацию для корректирования синхронизации, основываясь на количестве признаков для звука, за счет использования полученного количества признаков для звуковой синхронизации и количества признаков для звуковой синхронизации, включенного в состав вспомогательного принимаемого сигнала, и воспроизводит вспомогательное содержимое в синхронизации с главным содержимым за счет использования информации для корректирования синхронизации.

В примере на фиг. 21 главное приемное устройство 212 и вспомогательное приемное устройство 215 могут принимать главный принимаемый сигнал и вспомогательный принимаемый сигнал с распределениями по времени, которые являются удобными для самих главного приемного устройства 212 и вспомогательного приемного устройства 215.

Даже в том случае, когда коммуникационная сеть 272 является такой же, как коммуникационная сеть 214, пути передачи главного сигнала передачи и вспомогательного сигнала передачи обычно отличаются друг от друга, если распределение передачи по времени, приемные устройства и подобные параметры главного сигнала передачи и вспомогательного сигнала передачи отличаются друг от друга.

Второй вариант осуществления изобретения

Признаки настоящей технологии

В этой связи прикладная программа, в соответствии с которой множество фрагментов мультимедийного содержимого с синхронизированным по времени соотношением принимаются множеством устройств через радио- или телевизионное вещание, Интернет-протокол (IP), или подобные каналы, и принимаемое мультимедийное содержимое воспроизводятся в синхронизированном режиме, как может предполагаться в упоминавшихся выше примерах от (А1) до (А4).

Для того чтобы применять такую функциональность, была изучена и разработана система для кооперативной службы широковещательной коммуникации, в которой содержимое распределяется через радио- или телевизионное вещание, в то время как дополнительное содержимое индивидуально распределяется через Интернет-протокол (IP), например такой, как гибридная трансляция, и приемник содержимого одновременно выводит содержимое, распределенное через радио- или телевизионное вещание, и дополнительное содержимое, распределенное через Интернет-протокол во временно синхронизированном режиме.

Например, гибридная трансляция (Hybridcast) описывается в работе "Personalization System of Broadcast Content using Synchronized Internet Streaming" («Система персонализации широковещательного содержимого с использованием синхронизированной потоковой передачи данных через Интернет», авторы Kinji Matsumura, Yoshiaki Shishikui, и Michael J. Evans, Известия ежегодного съезда Института информации изображения и инженеров в области телевидения, 26 августа, 2009 г., стр. 3-8" (в дальнейшем также определяемого как NPL 1).

Кроме того, гибридная трансляция (Hybridcast) также описывается в работе «Корпорация радио- и телевизионного вещания Японии, «Сводка новостей и технология HybridcastTM», Научные и технологические исследовательские лаборатории Корпорации радио- и телевизионного вещания Японии» "Japan Broadcasting Corporation, "Summary and Technology of HybridcastTM", Science and Technology Research Laboratories of Japan Broadcasting Corporation, R&D, No. 124, стр.10-17, ноябрь, 2010, NHK Publishing, Inc., http://www.nhk.or.jp/strl/publica/rd/rd124/PDF/P10-17.pdf' (в дальнейшем также определяемого как NPL 2), «Корпорация радио- и телевизионного вещания Японии, «Поддержка технологий HybridcastTM», Научные и технологические исследовательские лаборатории Корпорации радио- и телевизионного вещания Японии» "Japan Broadcasting Corporation, "Technologies Supporting HybridcastTM", Science and Technology Research Laboratories of Japan Broadcasting Corporation, R&D, No. 133, стр.20-27. май, 2012, NHK Publishing, Inc., http://www.nhk.or.jp/str1/publica/rd/rd133/PDF/P20-27.pdf' (в дальнейшем также определяемого как NPL 3), и в подобных работах.

В соответствии с базовым принципом технологии Hybridcast, дополнительное содержимое, к которому добавляется информация времени представления (часть заголовка PES-пакета, определяющая время представления презентационного блока в декодере, (PTS, preselection time stamp)) на основе генератора опорных тактовых импульсов широковещательной потоковой передачи данных, является в то же самое время распределенной потоковой передачей данных с одновременной, или немного ранее, передачей широковещательного содержимого, при этом приемник обеспечивается буфером с достаточной емкостью для поглощения задержки и изменений содержимого при коммуникации, синхронизация устанавливается за счет создания задержки широковещательного содержимого и сравнения временных отметок как широковещательного содержимого, так и дополнительного содержимого.

Например, в соответствии с NPL 2, было подтверждено, что синхронизация может быть установлена с точностью в пределах приблизительно одного видеокадра (33 мс) в экспериментальных условиях эксплуатации, при этом оба приемника находились в том же самом устройстве.

Устройство, которое принимает дополнительное содержимое, может быть устройством, которое не зависит от приемного устройства широковещательного содержимого, например, таким как смартфон или персональный компьютер типа планшета, присоединенный беспроводным способом к сети, использующей Интернет-протокол. В таком случае для приемного устройства широковещательного содержимого необходимо обеспечивать информацию времени представления (временной отметки) для устройства, которое принимает дополнительное содержимое. Эта операция как правило осуществляет взаимодействие через сеть, использующую Интернет-протокол.

Кроме того, возможно легко представить себе применение системы, которая распределяет множество фрагментов содержимого только через сеть, например такую, как сеть, использующая Интернет-протокол, вместо использования радио- и телевизионного вещания, добавляет временную отметку за счет использования всеобщего скоординированного времени (UTC) в качестве опорных тактовых импульсов, выполняет синхронизацию на приемной стороне, и выводит множество фрагментов содержимого.

Когда такая кооперативная служба широковещательной коммуникации используется независимым приемником на практике, трудно точно установить синхронизацию с помощью способа сравнения временных отметок по следующим двум причинам.

Во-первых, существует разница в системных часах до тех пор, пока приемник широковещательного содержимого и приемник дополнительного содержимого являются независимыми электронными устройствами, и со временем в синхронизации возникают отклонения.

Во-вторых, может предполагаться использование положения, в котором позиционируется пользователь, с определенным расстоянием от приемника широковещательного содержимого, такого как телевизионный приемник, при этом пользователь держит в руках приемник дополнительного содержимого, такой как смартфон или персональный компьютер типа планшета, и пользуется дополнительным содержимым, распределяемым через сеть, использующую Интернет-протокол. Если звуковые сигналы включаются в состав широковещательного содержимого и дополнительного содержимого в этом положении использования, то получается сложно устанавливать точную синхронизацию в положении, в котором пользователь просматривает и слушает содержимое.

Когда пользователь находится на удалении от приемника широковещательного содержимого, например на 10 м, то для звукового сигнала, выходящего из приемника широковещательного содержимого, требуется 10(м)/340(м/с) = приблизительно 30 (мс), чтобы достигнуть местоположения пользователя. Здесь скорость звука приблизительно принимается за 340 (м/с).

Первый вариант осуществления изобретения использует способ собирания звука, выходящего из приемника широковещательного содержимого, приемником дополнительного содержимого, вычисления количества признаков для звуковой синхронизации, и выполнение синхронизированного вычисления с количеством признаков для звуковой синхронизации широковещательного содержимого, распределяемого через сеть, использующую Интернет-протокол. Однако необходимо искать положение синхронизации в широком диапазоне и количество обработки значительно увеличивается при задержке передачи, флуктуации, или подобных явлениях в сети, использующей Интернет-протокол.

Таким образом, возможно синхронизировать множество фрагментов содержимого, получаемого через различные пути, с намного меньшим количеством обработки за счет обеспечения следующих признаков с В11 по В20 для упоминавшегося выше обеспечивающего устройства и системы для воспроизведения содержимого.

Признак B11

Мультимедийное содержимое является потоком данных, который получается за счет мультиплицирования видео, звуковых данных, изображения, буквенно-цифровой информации, и подобных данных.

Что касается передачи потока данных (Признак В11), предполагается передача мультимедийного содержимого через широковещательную волну или через сеть, включающую в себя Интернет, при этом логический путь передачи, занимаемый мультиплицированным потоком данных, будет рассматриваться как путь передачи.

Признак В12

Множество фрагментов мультимедийного содержимого в качестве целей для передачи имеет синхронизированное по времени соотношение.

Признак В13

По меньшей мере один из множества фрагментов мультимедийного содержимого в качестве целей для передачи определяется как главный сигнал канала, а остальные фрагменты мультимедийного содержимого, соответственно, определяются как вспомогательный сигнал канала.

Признак В14

Информация о времени представления (РТС) генерируется для каждого главного сигнала канала и вспомогательного сигнала канала из сигнала опорной точки отсчета времени.

Здесь генератор опорных тактовых импульсов (PCR) потока данных широковещательного содержимого, скоординированное всемирное время (UTC), или подобная информация используются в качестве сигнала опорной точки отсчета времени.

Признак В15

Информация о времени представления главного сигнала канала мультиплицируется с главным сигналом канала, чтобы генерировать главный сигнал передачи, и далее этот главный сигнал передачи передается. И наоборот, количество признаков для звуковой синхронизации также вычисляется из звукового сигнала главного сигнала канала.

Признак В16

Обработка мультиплицирования информации о времени представления вспомогательного сигнала канала, количество признаков для звуковой синхронизации и вспомогательный сигнал канала выполняются в формате передачи, определяемом системой, таким образом, что удовлетворяется синхронизированное по времени соотношение между главным сигналом канала и вспомогательным сигналом канала, при этом генерируется вспомогательный сигнал передачи.

Признак В17

Главное принимающее устройство принимает и разделяет главный принимаемый сигнал и выводит звук, основываясь на звуковом сигнале, с помощью громкоговорителя или подобного устройства, когда воспроизводится главный сигнал канала. В то же самое время главное принимающее устройство представляет информацию о времени представления принятого главного сигнала канала таким образом, что информация о времени представления может передаваться куда-либо или приниматься извне.

Например, информация о времени представления главного сигнала канала может передаваться куда-либо или приниматься извне через подсоединение к сети, использующей Интернет-протокол, с помощью беспроводной связи с применением программного интерфейса приложения (API) программного обеспечения, которое обеспечивает функцию получения информации.

Признак В18

Вспомогательное принимающее устройство принимает и разделяет вспомогательный принимаемый сигнал, сравнивает информацию о времени представления принятого вспомогательного сигнала канала с информацией о времени представления главного сигнала канала, принятого от главного принимающего устройства и генерирует информацию по корректированию синхронизации, основываясь на информации о времени представления.

Признак В19

Вспомогательное принимающее устройство собирает звук главного сигнала канала, который выводится главным принимающим устройством из громкоговорителя, с помощью микрофона или подобного устройства, вычисляет количество признаков для звуковой синхронизации, выполняет автоматическое синхронизированное вычисление в отношении количества признаков для звуковой синхронизации принятого главного сигнала канала, принимая во внимание информацию по корректированию синхронизации, основанную на информации о времени представления, которая генерируется в (признаке В18), и вычисляет информацию по корректированию синхронизации (информацию о разнице во времени), основанную на количестве признаков для звука.

Поскольку можно приблизительно идентифицировать положение синхронизации из информации по корректированию синхронизации, основанной на информации о времени представления, которая получается при сравнении информации о времени представления, количество обработки, необходимое обработки автоматического синхронизированного вычисления, основанной на количестве признаков для звуковой синхронизации, на более поздней ступени уменьшается.

Признак В20

Вспомогательное принимающее устройство выполняет обработку по корректированию синхронизации принятого вспомогательного сигнала канала в отношении главного сигнала канала, в соответствии с информацией по корректированию синхронизации, основанной на количестве признаков для звука, и осуществляет воспроизведение.

Пример конфигурации обеспечивающего устройства

Далее будет приведено описание специфических вариантов осуществления изобретения обеспечивающего устройства с вышеуказанными признаками от В11 по В20 и системы воспроизведения содержимого.

Фиг. 22 является блок-схемой, показывающей пример конфигурации обеспечивающего устройства, которое обеспечивает содержимое в синхронизированном по времени соотношении, как в упоминавшихся выше примерах с (A1) по (А4). На фиг. 22 те же самые цифровые позиции обозначают части, соответствующие частям на фиг. 1, поэтому их описания пропускаются.

Обеспечивающее устройство 301 включает в себя модуль 311 генерирования сигнала опорной точки отсчета времени, модуль 312 обработки мультиплексирования, модуль 22 вывода, вычислительный модуль 23 количества признаков для звуковой синхронизации, модуль 24 обработки мультиплексирования, модуль 25 вывода.

Конфигурация обеспечивающего устройства 301 отличается от конфигурации обеспечивающего устройства 11 тем, что модуль 21 преобразования в обеспечивающем устройстве 11 заменяется модулем 312 обработки мультиплексирования и обеспечивается новый блок-модуль 311 генерирования сигнала опорной точки отсчета времени.

Модуль 311 генерирования сигнала опорной точки отсчета времени генерирует информацию о времени представления, которая показывает распределение по времени для представления содержимого главного сигнала канала и вспомогательного сигнала канала, основываясь на генераторе опорных тактовых импульсов (PCR) потока данных и скоординированном всемирном времени (UTC), и передает информацию о времени представления к модулю 312 обработки мультиплексирования и модулю 24 обработки мультиплексирования. Например, информация о времени представления является частью заголовка PES-пакета, определяющая время представления презентационного блока в декодере (PTS) и используется для установления синхронизации между главным сигналом канала и вспомогательным сигналом канала на стороне воспроизведения.

Модуль 312 обработки мультиплексирования преобразует поступающий главный сигнал канала в сигнал, имеющий формат, определяемый заданным стандартом для радио- или телевизионного вещания или подобным стандартом. Кроме того, модуль 312 обработки мультиплексирования генерирует главный сигнал передачи за счет мультиплексирования главного сигнала канала в преобразованном формате с информацией о времени представления, поступающей от модуля 311 генерирования сигнала опорной точки отсчета времени, и передает главный сигнал передачи в модуль 22 вывода. Информация о времени представления, который включается в состав главного сигнала передачи, является информацией о времени представления главного сигнала канала.

Кроме того, модуль 24 обработки мультиплексирования мультиплексирует количество признаков для звуковой синхронизации, поступающее от вычислительного модуля 23 количества признаков для звуковой синхронизации, поступающий вспомогательный сигнал канала и информацию о времени представления, поступающую из модуля 311 генерирования сигнала опорной точки отсчета времени во временно синхронизированном состоянии, затем модуль выполняет в случае необходимости преобразование формата, и генерирует вспомогательный сигнал передачи. Модуль 24 обработки мультиплексирования передает полученный вспомогательный сигнал передачи к модулю 25 вывода. Информация о времени представления, которая включается в состав вспомогательного сигнала передачи, является информацией о времени представления вспомогательного сигнала канала.

Таким же образом, как и в обеспечивающем устройстве 11 модуль 24 обработки мультиплексирования может регулировать синхронизированное по времени соотношение количества признаков для звуковой синхронизации, вспомогательный сигнал канала, и информацию о времени представления за счет использования главного сигнала канала.

Пример конфигурации системы воспроизведения содержимого

Кроме того, система воспроизведения содержимого, которая принимает главный сигнал передачи и вспомогательный сигнал передачи, передаваемый от обеспечивающего устройства 301, как главный принимаемый сигнал и вспомогательный принимаемый сигнал, и воспроизводит главное содержимое и вспомогательное содержимое, конфигурируется таким образом, как показано например на фиг. 23. На фиг. 23 те же самые цифровые позиции назначаются для частей, соответствующих аналогичным частям на фиг. 4, и их описания, соответственно пропускаются.

Система воспроизведения содержимого, показанная на фиг. 23, включает в себя главное принимающее устройство 341, модуль 82 отображения, громкоговоритель 83, микрофон 84, вспомогательное принимающее устройство 342, модуль 86 отображения, громкоговоритель 87.

Главное принимающее устройство 341 принимает главный принимаемый сигнал, передаваемый от обеспечивающего устройства 301, и контролирует воспроизведение главного содержимого, получаемого из главного принимаемого сигнала.

Главное принимающее устройство 341 включает в себя модуль 111 ввода, модуль 351 обработки разделения, представляющий модуль 352 и модуль 112 обработки воспроизведения. Конфигурация главного принимающего устройства 341 отличается от конфигурации главного принимающего устройства 81 тем, что обеспечиваются два дополнительных модуля: модуль 351 обработки разделения и представляющий модуль 352.

Модуль 351 обработки разделения разделяет главный принимаемый сигнал, поступающий из модуля 111 ввода, на главный сигнал канала и информацию о времени представления главного сигнала канала, отправляет главный сигнал канала к модулю 112 обработки воспроизведения, а также отправляет информацию о времени представления к представляющему модулю 352.

Представляющий модуль 352 представляет информацию о времени представления, которая поступает из модуля 351 обработки разделения к вспомогательному принимающему устройству 342 через проводную или беспроводную сеть связи, включая Интернет. Таким образом, информация о времени представления передается в ответ на запрос от противоположной стороны сети связи.

Кроме того, вспомогательное принимающее устройство 342 принимает вспомогательный сигнал передачи, который передается от обеспечивающего устройства 301, как вспомогательный принимаемый сигнал и контролирует воспроизведение вспомогательного содержимого, получаемого из вспомогательного принимаемого сигнала.

Вспомогательное принимающее устройство 342 включает в себя модуль 361 получения информации, модуль 362 сравнения информации о времени представления, вычислительный модуль 121 количества признаков для звуковой синхронизации, буфер 122, модуль 123 ввода, модуль 124 обработки разделения, буфер 125, модуль 126 вычисления синхронизации и модуль 127 обработки воспроизведения.

Конфигурация вспомогательного принимающего устройства 342 отличается от конфигурации вспомогательного принимающего устройства 85 тем, что добавляются новые блоки: модуль 361 получения информации и модуль 362 сравнения информации о времени представления.

Модуль 361 получения информации получает информацию о времени представления, которую представляет представляющий модуль 352, с использованием программного интерфейса приложения (API) или подобного средства через проводную или беспроводную сеть связи, и отправляет информацию о времени представления к модулю 362 сравнения информации о времени представления. Т.е. модуль 361 получения информации принимает информацию о времени представления, передаваемую от представляющего модуля 352.

Модуль 124 обработки разделения разделяет вспомогательный принимающий сигнал, поступающий от модуля 123 ввода, на количество признаков для звуковой синхронизации, вспомогательный канал и информацию о времени представления, отправляет информацию о времени представления к модулю 362 сравнения информации о времени представления, и отправляет количество признаков для звуковой синхронизации и вспомогательный сигнал канала к буферу 125.

Модуль 362 сравнения информации о времени представления сравнивает информацию о времени представления, отправленную из модуля 124 обработки разделения, с информацией о времени представления, поступающей из модуля 361 получения информации, генерирует информацию по корректированию синхронизации, основываясь на информации о времени представления для синхронизации главного сигнала канала со вспомогательным сигналом канала, и отправляет информацию по корректированию синхронизации к модулю 126 вычисления синхронизации.

Информация по корректированию синхронизации, основанная на информации о времени представления, может корректировать отклонение между главным сигналом канала и вспомогательным сигналом канала, а также отдельно устанавливает между ними синхронизацию. Однако информация по корректированию синхронизации, основанная на информации о времени представления, используется модулем 126 вычисления синхронизации для определения диапазона количеств признаков для звуковой синхронизации, которые должны считываться из буфера 125, для того чтобы более точно синхронизировать сигналы в этом примере. Другими словами, информация по корректированию синхронизации, основанная на информации о времени представления, используется для приблизительной синхронизации количества признаков для звуковой синхронизации, записанного в буфер 125 с количеством признаков для звуковой синхронизации, записанным в буфер 122. За счет использования информации по корректированию синхронизации, основанной на информации о времени представления, как описывалось выше, возможно выполнять обработку согласования диапазона количеств признаков для звуковой синхронизации с меньшим количеством обработки.

Объяснение обработки передачи

Далее будет приводиться описание специфических операций обеспечивающего устройства 301 и описанной выше системы воспроизведения содержимого.

Во-первых, будет приводиться описание обработки передачи, выполняемой обеспечивающим устройством 301 со ссылкой на карту последовательности процесса на фиг. 24.

Во время шага S191 модуль 311 генерирования сигнала опорной точки отсчета времени генерирует информацию о времени представления главного сигнала канала и вспомогательного сигнала канала и отправляет информацию о времени представления к модулю 312 обработки мультиплексирования и модулю 24 обработки для мультиплексирования.

Во время шага S192 модуль 23 вычисления количества признаков для звуковой синхронизации выполняет обработку вычисления количества признаков для звуковой синхронизации, чтобы вычислять количество признаков для звуковой синхронизации из сигнала конфигурирования звука подаваемого главного сигнала канала, и отправляет количество признаков для звуковой синхронизации к модулю 24 обработки для мультиплексирования. Кроме того, поскольку обработка вычисления количества признаков для звуковой синхронизации, выполняемая во время шага S192, является аналогичной обработке вычисления количества признаков для звуковой синхронизации, описываемой со ссылкой на фиг. 14, ее описание не будет производиться.

Во время шага S193 модуль 312 обработки мультиплексирования генерирует главный сигнал передачи за счет мультиплексирования подаваемого главного сигнала канала с информацией о времени представления, подаваемой из модуля 311 генерирования сигнала опорной точки отсчета времени, и отправляет главный сигнал передачи к модулю 22 вывода. В это время модуль 312 обработки мультиплексирования выполняет преобразование формата в отношении главного сигнала канала в случае необходимости.

Во время шага S194 модуль 22 вывода передает главный сигнал передачи, поступающий от модуля 312 обработки мультиплексирования.

Во время шага S195 модуль 24 обработки для мультиплексирования генерирует вспомогательный сигнал передачи за счет мультиплексирования количества признаков для звуковой синхронизации, вспомогательного сигнала канала, и информации о времени представления, и отправляет вспомогательный сигнал передачи к модулю 25 вывода.

Таким образом, модуль 24 обработки для мультиплексирования мультиплексирует количество признаков для звуковой синхронизации из модуля 23 вычисления количества признаков для звуковой синхронизации, поступивший вспомогательный сигнал канала, и информацию о времени представления, поступившую от модуля 311 генерирования сигнала опорной точки отсчета времени, для получения вспомогательного сигнала передачи.

Во время шага S196 модуль 25 вывода передает вспомогательный сигнал передачи, поступающий от модуля 24 обработки для мультиплексирования и завершает обработку передачи.

Как описывалось выше, обеспечивающее устройство 301 генерирует информацию о времени представления, обычно используемую для главного сигнала канала и вспомогательного сигнала канала, и генерирует главный сигнал передачи и вспомогательный сигнал передачи, включающий в себя информацию о времени представления.

С такой конфигурацией возможно синхронизировать главное содержимое и вспомогательное содержимое с меньшим количеством обработки за счет использования информации о времени представления на стороне воспроизведения содержимого.

Объяснение обработки для воспроизведения главного содержимого

Если главный сигнал передачи передается от обеспечивающего устройства 301, система воспроизведения содержимого принимает главный сигнал передачи как главный принимаемый сигнал и воспроизводит главное содержимое. В дальнейшем будет приведено описание обработки для воспроизведения главного содержимого системой воспроизведения содержимого со ссылкой на карту последовательности процесса на фиг. 25.

Во время шага S221 модуль 111 ввода принимает главный принимаемый сигнал и отправляет главный принимаемый сигнал к модулю 351 обработки разделения. Например, модуль 111 ввода получает главный принимаемый сигнал, принимая главный принимаемый сигнал, передаваемый из обеспечивающего устройства 301.

Во время шага S222 модуль 351 обработки разделения разделяет главный принимаемый сигнал, поступающий от модуля 111 ввода, на главный сигнал канала и информацию о времени представления. Модуль 351 обработки разделения отправляет главный сигнал канала после разделения к модулю 112 обработки воспроизведения и отправляет информацию о времени представления к представляющему модулю 352.

Во время шага S223 модуль 112 обработки воспроизведения воспроизводит главное содержимое, основываясь на главном сигнале канала, поступающем из модуля 351 обработки разделения. Во время шага S223 выполняется такая же обработка, как и во время шага S72 на фиг. 15.

Во время шага S224 представляющий модуль 352 представляет информацию о времени представления, поступающую из модуля 351 обработки разделения, и завершает обработку воспроизведения главного содержимого. Например, информация о времени представления передается к вспомогательному принимающему устройству 342 через беспроводную связь в состоянии, которое синхронизируется с воспроизведением главного содержимого.

Как описывалось выше, система воспроизведения содержимого принимает главный принимаемый сигнал, воспроизводит главное содержимое, и представляет информацию о времени представления главного содержимого, а именно - главный сигнал канала.

За счет представления информации о времени представления главного содержимого одновременно с воспроизведением главного содержимого, как описывалось выше, вспомогательное принимающее устройство 342, которое принимает информацию о времени представления, может выполнять синхронное вычисление за счет использования количества признаков для звуковой синхронизации с меньшим количеством обработки.

Объяснение обработки для воспроизведения вспомогательного содержимого

В синхронизации с воспроизведением главного содержимого система воспроизведения содержимого принимает вспомогательный принимаемый сигнал и воспроизводит вспомогательное содержимое. В дальнейшем будет приведено описание обработки для воспроизведения вспомогательного содержимого системой воспроизведения содержимого со ссылкой на карту последовательности процесса на фиг. 26.

Поскольку обработка во время шага S251 является такой же, как и обработка во время шага S101 на фиг. 16, ее описание не будет представлено.

Во время шага S252 модуль 124 обработки разделения разделяет вспомогательный принимаемый сигнал, передаваемый из модуля 123 ввода, на вспомогательный сигнал канала, количество признаков для звуковой синхронизации и информацию о времени представления. Затем модуль 124 обработки разделения отправляет вспомогательный сигнал канала и количество признаков для звуковой синхронизации к буферу 125, вызывает записывание буфером 125 вспомогательного сигнала канала и количество признаков для звуковой синхронизации, и отправляет информацию о времени представления вспомогательного сигнала канала к модулю 362 сравнения информации о времени представления.

Во время шага S253 модуль 361 получения информации получает информацию о времени представления главного сигнала канала за счет приема информации о времени представления, передаваемой из представляющего модуля 352, и отправляет информацию о времени представления к модулю 362 сравнения информации о времени представления.

Во время шага S254 модуль 362 сравнения информации о времени представления сравнивает информацию о времени представления, поступающую из модуль 124 обработки разделения, с информацией о времени представления, поступающей из модуля 361 получения информации, генерирует информацию по корректированию синхронизации, основываясь на информации о времени представления, и отправляет информацию по корректированию синхронизации к модулю 126 вычисления синхронизации.

Например, информация по корректированию синхронизации, основанная на информации о времени представления, является информацией, показывающей диапазон в качестве целевого параметра для вычисления синхронизации модуля 126 вычисления синхронизации (в дальнейшем также определяемого как диапазон для поиска) в последовательностях количеств признаков для звуковой синхронизации в соответствующее время, которые записываются последовательном временном режиме в буфер 125.

Диапазон для поиска соответствует последовательностям количеств признаков для звуковой синхронизации с заданной длиной, которые включают в себя количество признаков для звуковой синхронизации, взаимодействующее с информацией о времени представления вспомогательного сигнала канала, показывающее то же самое время, как и время главного содержимого, которое в настоящий момент воспроизводится, т.е. самую последнюю информацию о времени представления, полученную модулем 361 получения информации.

Положения в главном сигнале канала и вспомогательном сигнале канала, соответствующие тому же самому времени представления, являются положениями взаимно синхронизированного сигнала, т.е. положениями воспроизведения (положение кадра), которые должны воспроизводиться в то же самое время. Соответственно, возможно определять положение воспроизведения во вспомогательном содержимом, которое приблизительно синхронизируется с воспроизводимым главным содержимым за счет сравнения информации о времени представления и обнаружением положения во вспомогательном сигнале канала, соответствующим такой же информации о времени представления, как и в главном сигнале канала.

Если информация по корректированию синхронизации, основанная на информации о времени представления, генерируется за счет сравнения информации о времени представления, тогда выполняется обработка в шагах S255 и S256. Однако, поскольку обработка является такой же, как и во время шагов S103 и S104 на фиг. 16, соответствующее описание не будет представлено. Во время этой обработки собирается звук главного содержимого, а количество признаков для звуковой синхронизации вычисляется с помощью этого собранного звука.

Во время шага S257 модуль 126 вычисления синхронизации выполняет обработку по генерированию информации для корректирования синхронизации, чтобы генерировать информацию по корректированию синхронизации на основе количества признаков для звука, и отправляет информацию по корректированию синхронизации к модулю 127 обработки воспроизведения. Подробное описание обработки по генерированию информации для корректирования синхронизации будет приводиться позже. В процессе обработки количество признаков для звуковой синхронизации, записанное в буфер 122 и количество признаков для звуковой синхронизации, записанное в буфер 125, сравниваются с использованием информации по корректированию синхронизации, основанной на информации о времени представления, и генерируется информация по корректированию синхронизации, основанная на количестве признаков для звука.

Во время шага S258 модуль 127 обработки воспроизведения корректирует распределение воспроизведения по времени для вспомогательного сигнала канала, записанного в буфер 125, в соответствии с информацией по корректированию синхронизации, основанной на количестве признаков для звука, которая поступает из модуля 126 вычисления синхронизации, и воспроизводит вспомогательное содержимое на основе вспомогательного сигнала канала после коррекции. Во время шага S258 выполняется та же самая обработка, что и во время шага S106 на фиг. 16.

Если вспомогательное содержимое воспроизводится в синхронизации с главным содержимым, как описывалось выше, обработка воспроизведения вспомогательного содержимого завершается.

Система воспроизведения содержимого генерирует информацию по корректированию синхронизации, основанную на информации о времени представления, за счет получения информации о времени представления главного содержимого и сравнения информации о времени представления главного содержимого с информацией о времени представления вспомогательного содержимого, которое включается в состав вспомогательного принимаемого сигнала, как описывалось выше. Затем система воспроизведения содержимого выполняет обработку согласования в отношении количества признаков для звуковой синхронизации, содержащегося в диапазоне поиска, обозначенного информацией по корректированию синхронизации, основанной на информации о времени представления, в качестве целевого, и вычисляет информацию по корректированию синхронизации, основанную на количестве признаков для звука.

С такой конфигурацией возможно вычислять информацию по корректированию синхронизации с меньшим количеством обработки, даже в том случае, когда главное содержимое и вспомогательное содержимое передаются через различные пути передачи, и воспроизводить содержимое в синхронизированном режиме.

Таким образом, в соответствии с работой системы воспроизведения содержимого, вспомогательное принимающее устройство 342 сначала приблизительно синхронизирует главный сигнал канала со вспомогательным сигналом канала, основываясь на информации о времени представления, и вычисляет количество признаков для звуковой синхронизации из звукового сигнала, получаемого за счет сбора звука главного содержимого.

Затем вспомогательное принимающее устройство 342 может осуществлять точную синхронизацию содержимого в положении пользователя, который просматривает и слушает вспомогательное содержимое, воспроизводимое вспомогательным принимающим устройством 342, за счет выполнения автоматического синхронизированного вычисления в отношении количества признаков для звуковой синхронизации принятого главного сигнала канала. Поскольку информация о времени представления используется для ограничения приблизительного диапазона положения синхронизации в практическом применении, количество обработки, необходимое обработки автоматического синхронизированного вычисления, основанного на количестве признаков для звуковой синхронизации, уменьшается.

Например, подразумевается, что модуль 82 отображения и громкоговоритель 83 в системе воспроизведения содержимого располагаются в положениях, находящихся на удалении от модуля 86 отображения и громкоговорителя 87, также предполагается, что пользователь просматривает и прослушивает содержимое поблизости от модуля 86 отображения и громкоговорителя 87. В таком случае, до некоторой степени, требуется время для выходящего из громкоговорителя 83 звука, чтобы достичь местоположения, в котором пользователь просматривает и прослушивает содержимое.

Соответственно, в этом случае трудно точно синхронизировать воспроизведение главного и вспомогательного содержимого в положении, где пользователь просматривает и прослушивает содержимое только за счет сравнения информации о времени представления. Таким образом, поскольку модуль 86 отображения и громкоговоритель 87, соответственно, воспроизводят звук главного содержимого и звук вспомогательного содержимого, например в то же самое время, пользователь слышит звук главного содержимого и звук вспомогательного содержимого с отклонением, если для звука главного содержимого требуется время, для того чтобы достигнуть пользователя.

И наоборот, в соответствии с работой системы воспроизведения содержимого, к которой применяется настоящая технология, звук главного содержимого собирается микрофоном 84, который присоединяется к вспомогательному принимающему устройству 342 и располагается поблизости от вспомогательного принимающего устройства 342, при этом выполняется синхронизированное вычисление. По этой причине система воспроизведения содержимого может воспроизводить главное содержимое и вспомогательное содержимое в синхронизированном режиме в положении, в котором пользователь просматривает и прослушивает содержимое. Кроме того, система воспроизведения содержимого может синхронизировать содержимое с меньшим количеством обработки за счет сравнения информации о времени представления, генерировать информацию по корректированию синхронизации, основанную на информации о времени представления, и ограничивать диапазон поиска обработки согласования.

Объяснение обработки генерирования информации по корректированию синхронизации

В дальнейшем будет приводиться описание обработки генерирования информации по корректированию синхронизации, соответствующее обработке во время шага S257 на фиг. 26 со ссылкой на карту последовательности процесса на фиг. 27.

Во время шага S281 модуль 181 преобразования частоты кадров и модуль 182 преобразования частоты кадров выполняют обработку преобразования частоты кадров в случае необходимости.

Таким образом, модуль 181 преобразования частоты кадров считывает данные во временной последовательности количества признаков для звуковой синхронизации для каждой временной секции в главном содержимом из буфера 122, выполняет преобразование частоты кадров, т.е. выполняет понижающую дискретизацию количества признаков для звуковой синхронизации в случае необходимости, и отправляет количество признаков для звуковой синхронизации к модулю 183 объединения блоков.

Кроме того, модуль 182 преобразования частоты кадров считывает только данные во временной последовательности, включенные в диапазон поиска, обозначаемый информацией по корректированию синхронизации, основанной на информации о времени представления, которая поступает из модуля 362 сравнения информации о времени представления, в данных во временной последовательности количества признаков для звуковой синхронизации, записанных в буфер 125.

Затем модуль 182 преобразования частоты кадров выполняет преобразование частоты кадров, т.е. понижающую дискретизацию или повышающую дискретизацию в отношении считанного количества признаков для звуковой синхронизации, в случае необходимости, и отправляет количество признаков для звуковой синхронизации к модулю 184 объединения блоков.

Во время шага S282 модуль 183 объединения блоков и модуль 184 объединения блоков объединяют данные во временной последовательности количеств признаков для звуковой синхронизации.

В частности, модуль 183 объединения блоков принимает поступление данных во временной последовательности количества признаков для звуковой синхронизации для каждой временной секции в главном содержимом из модуля 181 преобразования частоты кадров. Затем модуль 183 объединения блоков рассматривает множество (например, 64) непрерывных временных секций как один блок, объединяет поступающие данные во временной последовательности количества признаков для звуковой синхронизации в каждой временной секции в модули блоков и отправляет объединенные данные во временной последовательности к модулю 185 вычисления аналогичности.

Кроме того, модуль 184 объединения блоков принимает поступление данных во временной последовательности количества признаков для звуковой синхронизации для каждой временной секции в главном содержимом из модуля 182 преобразования частоты кадров. Затем модуль 184 объединения блоков рассматривает множество (например, 64) непрерывных временных секций как один блок, объединяет поступающие данные во временной последовательности количества признаков для звуковой синхронизации в каждой временной секции в модули блоков и отправляет объединенные данные во временной последовательности к модулю 185 вычисления аналогичности.

Как представлено стрелкой А11, например на фиг. 28, n блоков X(i), записанных в буфер 122 и m блоков Y(i), записанных в буфер 125, являются объектами обработки при выполнении обработки во время шага S162 на фиг. 18. Таким образом, количество комбинаций блоков количеств признаков для звуковой синхронизации в качестве объектов для поиска составляет n×m. Если более точно, преобразование частоты кадров в отношении количеств признаков для звуковой синхронизации выполняется соответствующим образом. Однако описание будет продолжаться с учетом допущения, что преобразование частоты кадров не выполняется, для того чтобы упростить объяснения в отношении фиг. 28.

Здесь все блоки Y(i) в качестве объектов обработки согласования являются блоками, записанными в буфер 125, или блоками в достаточно широком диапазоне.

На фиг. 28 "i" является индексом блока количеств признаков для звуковой синхронизации, получаемых вычислительным модулем 121 количества признаков для звуковой синхронизации, a "j" индексом блока количеств признаков для звуковой синхронизации, включаемых в состав вспомогательного принимаемого сигнала.

Кроме того, X(i) представляет данные в последовательном временном режиме количеств признаков для звуковой синхронизации в блоке с индексом "i" среди количеств признаков для звуковой синхронизации, получаемых вычислительным модулем 121 количества признаков для звуковой синхронизации, a Y(i) представляет данные в последовательном временном режиме количеств признаков для звуковой синхронизации в блоке с индексом "j" среди количеств признаков для звуковой синхронизации, включаемых в состав вспомогательного принимаемого сигнала.

И наоборот, во время шага S282 только m' блоков, которые включаются в диапазон поиска, обозначаемого с помощью информации по корректированию синхронизации, основанной на информации о времени представления из числа m блоков, записанных в буфер 125, являются объектами обработки согласования, как представлено стрелкой А12. Таким образом, только m' блоков являются объектами вычисления аналогичности модулем 185 вычисления аналогичности.

В этом примере PTS_i представляет информацию о времени представления, а положение, представленное информацией о времени представления, соответствует положению в главном содержимом, которое воспроизводится в данный момент времени. Кроме того, диапазон с заданной длиной, который включает в себя положение, соответствующее информации о времени представления вспомогательного содержимого в то же самое время, что и информация о времени представления главного содержимого, т.е. диапазон, сконфигурированный из m' блоков, является диапазоном поиска. Соответственно, комбинации блоков количеств признаков для звуковой синхронизации как объектов поиска составляют n×m' комбинаций.

Возможно минимизировать диапазон количеств признаков для звуковой синхронизации, как объектов обработки согласования за счет использования информации по корректированию синхронизации, основанной на информации о времени представления, получаемой при сравнении информации о времени представления, и таким образом значительно уменьшать время обработки, необходимое для поиска при вычислении аналогичности.

Возвращаясь к объяснению карты последовательности процесса на фиг. 27: если данные в последовательном временном режиме объединяются, то обработка продолжается на шаге S283. Хотя обработка во время шагов S283 и S284 выполняется и обработка генерирования информации по корректированию синхронизации завершается, обработка является такой же, как и во время выполнения шагов S163 и S164 на фиг. 18, и поэтому ее описание не будет приводиться. Если обработка генерирования информации по корректированию синхронизации завершается, тогда обработка переходит к шагу S258 на фиг. 26.

Как описывалось выше, система воспроизведения содержимого генерирует информацию по корректированию синхронизации, основанную на информации о времени представления, за счет использования количеств признаков для звуковой синхронизации внутри диапазона поиска, обозначенного информацией по корректированию синхронизации, основанной на информации о времени представления. С такой конфигурацией возможно генерировать информацию по корректированию синхронизации в устойчивом режиме с меньшим количеством обработки.

Кроме того, обеспечивающее устройство 301, показанное на фиг. 22, и система воспроизведения содержимого, показанная на фиг. 23, также могут применяться к соответствующей системе, показанной на фиг. 19-21.

В этой связи следует заметить, что упоминавшиеся выше последовательности обработки могут выполняться аппаратной частью или программными средствами. В случае выполнения последовательности обработки программными средствами, в компьютер устанавливается программа, конфигурирующая программные средства. В данном случае примеры компьютера включают в себя компьютер, встроенный в соответствующую аппаратную часть, и компьютер общего назначения, способный выполнять различные функции за счет установки различных программ.

Фиг. 29 является диаграммой, показывающей пример конфигурации аппаратной части в компьютере, который выполняет упоминавшиеся выше последовательности обработки с помощью программы.

В этом компьютере центральный процессор (CPU) 501, постоянное запоминающее устройство (ROM) 502, запоминающее устройство с произвольной выборкой (RAM) 503 соединяются друг с другом через шину 504.

Кроме того, интерфейс 505 ввода и вывода присоединяется к шине 504. Кроме того, модуль 506 ввода, модуль 507 вывода, запоминающее устройство 508, модуль 509 связи, и накопитель 510 присоединяются к интерфейсу 505 ввода и вывода.

Модуль 506 ввода конфигурируется из клавиатуры, манипулятора для управления курсором, микрофона, формирователя сигналов изображения, и подобных устройств. Модуль 507 вывода конфигурируется из дисплея, громкоговорителя, и подобных устройств. Запоминающее устройство 508 конфигурируется из жесткого диска, энергонезависимой памяти, и подобных устройств. Модуль 509 связи конфигурируется из сетевого интерфейса и подобного средства. Накопитель 510 приводит в действие сменную запоминающую среду 511, такую как магнитный диск, оптический диск, магнитно-оптический диск, или полупроводниковую память.

Компьютер, сконфигурированный таким образом, как описывалось выше, выполняет упоминавшиеся выше последовательности обработки с помощью центрального процессора (CPU) 501, загружающего программу, записанную в запоминающее устройство 508, например, на запоминающее устройство с произвольной выборкой (RAM) 503, через интерфейс 505 ввода и вывода и через шину 504, и выполняет программу.

Программа, выполняемая компьютером (CPU 501), может быть записана на съемный носитель 511 информации, например, как носитель программных средств, и может таким образом обеспечиваться. Кроме того, программа может обеспечиваться через проводную или беспроводную среду передачи, такую как локальная сеть, Интернет, или цифровое спутниковое вещание.

Компьютер может устанавливать программу в запоминающее устройство 508 через интерфейс 505 ввода и вывода при установке съемного носителя 511 информации в накопитель 510. Кроме того, программа может быть установлена в запоминающее устройство 508 за счет приема программы модулем 509 связи через проводную или беспроводную среду передачи. Кроме того, программа может быть установлена заранее в постоянное запоминающее устройство (ROM) 502 или запоминающее устройство 508.

Кроме того, программа, выполняемая компьютером, может быть программой, в соответствии с которой обработка выполняется в последовательном временном режиме в описанном здесь порядке, или может быть программой, в соответствии с которой обработка выполняется параллельно, или с необходимым распределением по времени, например таким распределением, когда программа является доступной.

Кроме того, варианты осуществления изобретения настоящей технологии не ограничиваются упоминавшимися выше вариантами осуществления изобретения, и различные модификации могут быть произведены, не выходя за пределы сущности изобретения настоящей технологии.

Например, настоящая технология может применять конфигурацию вычисления при помощи интернет-ресурсов, в которой функция разделяется и совместно обрабатывается множеством устройств.

Кроме того, соответствующие шаги, описанные в упоминавшихся выше картах последовательности процесса, могут быть выполнены одним устройством, или могут разделяться и выполняться множеством устройств.

Кроме того, когда множество процедур включается в один шаг, это множество процедур, содержащихся в шаге, могут выполняться одним устройством, или могут разделяться и выполняться множеством устройств.

Кроме того, описанные здесь эффекты приведены в качестве примеров только с иллюстративной целью, и не предполагают представление какого-либо ограничения, поэтому могут достигаться и другие эффекты.

Кроме того, настоящая технология может конфигурироваться следующим образом:

(1) Устройство обработки информации для воспроизведения второго содержимого в синхронизации с воспроизведением первого содержимого с помощью второго устройства обработки информации, отличающегося от первого устройства обработки информации, при этом первое содержимое содержит звуковое содержимое, при этом устройство обработки информации содержит схему для выделения первого признака из звукового содержимого; получения второго признака из звукового содержимого, при этом второй признак существует вместе со вторым содержимым; сравнения первого признака со вторым признаком; и генерирования на основании результатов сравнения, информации синхронизации, используемой для воспроизведения второго содержимого в синхронизации с первым содержимым.

(2) Устройство обработки информации по (1), в котором схема выполнена с возможностью получения звукового сигнала из звука, генерируемого через воспроизведение звукового содержимого вторым устройством обработки информации; и выделения первого признака из звукового сигнала.

(3) Устройство обработки информации по (1) или (2), в котором второе содержимое и второй признак передаются на устройство обработки информации в момент времени, определяемый на основе разницы между временем прибытия первого содержимого и временем прибытия второго содержимого и второго признака.

(4) Устройство обработки информации по (1), в котором схема выполнена с возможностью запроса передачи второго содержимого и второго признака; и приема второго содержимого и второго признака, передаваемых в ответ на запрос.

(5) Устройство обработки информации по (4), в котором схема выполнена с возможностью запроса передачи первого содержимого; и приема первого содержимого, передаваемого в ответ на запрос, для передачи первого содержимого.

(6) Устройство обработки информации по (1), в котором схема выполнена с возможностью выделения первого множества признаков из звукового содержимого, причем первое множество признаков включает в себя первый признак; получения второго множества признаков вместе со вторым содержимым, причем второе множество признаков включает в себя второй признак; сравнения первого множества признаков со вторым множеством признаков; и генерирования, основываясь на результатах сравнения первого множества признаков со вторым множеством признаков, информации по синхронизации, используемой для воспроизведения второго содержимого в синхронизации с первым содержимым.

(7) Устройство обработки информации по (1), в котором схема выполнена с возможностью управления воспроизведением второго содержимого.

(8) Устройство обработки информации по (7), в котором схема выполнена с возможностью коррекции положения воспроизведения второго содержимого, основываясь на информации синхронизации.

(9) Устройство обработки информации по (1), в котором схема выполнена с возможностью получения информации о времени представления, ассоциированную с первым содержимым; и получения диапазона времени, основываясь на результатах сравнения информации о времени представления, ассоциированной с первым содержимым, и информации о времени представления, ассоциированной со вторым содержимым, при этом схема выполнена с возможностью генерирования информации о синхронизации, по меньшей мере частично, за счет сравнения второго признака с одним или более признаков, выделенных из одной или более частей первого содержимого, появляющихся в первом содержимом в определенном диапазоне времени.

(10) Устройство обработки информации по (1), в котором схема выполнена с возможностью сравнения первого признака и второго признака после выполнения преобразования частоты кадров, по меньшей мере одного из признаков, первого признака и второго признака, так что частота кадров первого признака совпадает с частотой кадров второго признака.

(11) Способ обработки информации для воспроизведения второго содержимого в синхронизации с воспроизведением первого содержимого, причем первое содержимое содержит звуковое содержимое, при этом способ обработки информации содержит этапы, на которых: выделяют первый признак из звукового содержимого; получают второй признак звукового содержимого, причем второй признак существует вместе со вторым содержимым; сравнивают первый признак со вторым признаком; и генерируют на основе результатов сравнения, информацию о синхронизации, используемую для воспроизведения второго содержимого в синхронизации с первым содержимым.

(12) По меньшей мере, один энергонезависимый считываемый компьютером носитель информации, хранящий выполняемые процессором инструкции, которые при выполнении их по меньшей мере одним компьютером, вызывают выполнение по меньшей мере одним компьютером способа обработки информации для воспроизведения второго содержимого в синхронизации с воспроизведением первого содержимого, при этом первое содержимое содержит звуковое содержимое, причем способ обработки информации содержит этапы, на которых: выделяют первый признак из звукового содержимого; получают второй признак звукового содержимого, причем второй признак существует вместе со вторым содержимым; сравнивают первый признак со вторым признаком; и генерируют на основе результатов сравнения, информацию о синхронизации, используемую для воспроизведения второго содержимого в синхронизации с первым содержимым.

(13) Устройство обработки информации, содержащее схему для выделения признака из звука, генерируемого за счет воспроизведения первого содержимого; ассоциации в синхронизации с первым содержимым признака со вторым содержимым, имеющим синхронизированную по времени взаимосвязь с первым содержимым; и вывода второго содержимого и признака.

(14) Устройство обработки информации по (13), в котором схема выполнена с возможностью вывода первого содержимого.

(15) Устройство обработки информации по (14), в котором схема выполнена с возможностью вывода второго содержимого и признака в момент времени, определенный на основании разницы между временем прибытия первого содержимого и второго содержимого.

(16) Устройство обработки информации по (14), в котором схема выполнена с возможностью вывода второго содержимого и признака в ответ на запрос на его передачу.

(17) Устройство обработки информации по (16), в котором схема выполнена с возможностью вывода первого содержимого в ответ на запрос на его передачу.

(18) Устройство обработки информации по (13), в котором схема выполнена с возможностью выделения множества признаков из звука, генерируемого из воспроизводимого множества частей первого содержимого; а также ассоциации и вывода выделенных признаков со вторым содержимым.

(19) Устройство обработки информации по (13), в котором схема выполнена с возможностью понижения дискретизации признака для получения признака с пониженной дискретизацией; и вывода второго содержимого и признака с пониженной дискретизацией.

(20) Способ обработки информации, содержащий этапы, на которых: выделяют признак из звука, генерируемого за счет воспроизведения первого содержимого; ассоциируют, в синхронизации с первым содержимым, признак со вторым содержимым, имеющим синхронизированную по времени взаимосвязь с первым содержимым; и выводят второе содержимое и признак.

(21) По меньшей мере, один энергонезависимый считываемый компьютером носитель информации, вызывающий при выполнении по меньшей мере одним компьютером, выполнение по меньшей мере одним компьютером этапов, на которых: выделяют признак из звука, сгенерированного при воспроизведении первого содержимого; ассоциируют в синхронизации с первым содержимым, признак со вторым содержимым, имеющим синхронизированную по времени взаимосвязь с первым содержимым; и выводят второе содержимое и признак.

Следует также иметь в виду, что аспекты технологии, описанные здесь, не ограничиваются тем, что учитывается синхронизированное воспроизведение содержимого между двумя устройствами. Соответственно, в некоторых вариантах осуществления изобретения описанные здесь технологии могут применяться к синхронизированному воспроизведению содержимого между более чем двумя устройствами (например, тремя, четырьмя, пятью, по меньшей мере пятью, по меньшей мере десятью, между двумя и десятью и т.д.).

Специалисты в данной области техники приминают во внимание, что различные модификации, комбинации, под-комбинации и изменения могут осуществляться в зависимости от требований конструкции и других факторов в такой степени, пока они находятся в пределах объема прилагаемых пунктов формулы изобретения или их эквивалентов.

Список ссылочных обозначений

11 обеспечивающее устройство,

22 модуль вывода,

23 вычислительный модуль количества признаков звуковой синхронизации

24 модуль обработки мультиплексирования,

25 модуль вывода,

81 главное приемное устройство,

85 вспомогательное приемное устройство,

111 модуль ввода,

112 модуль обработки воспроизведения,

121 вычислительный модуль количества признаков звуковой синхронизации,

123 модуль ввода,

126 модуль вычисления синхронизации,

127 модуль обработки воспроизведения,

311 модуль генерирования сигнала опорной точки отсчета времени,

352 представляющий модуль,

361 модуль получения,

362 модуль сравнения информации о времени представления.

1. Устройство обработки информации для воспроизведения второго содержимого в синхронизации с воспроизведением первого содержимого с помощью второго устройства обработки информации, отличающегося от первого устройства обработки информации, при этом первое содержимое содержит звуковое содержимое, причем устройство обработки информации содержит схему, выполненную с возможностью:

выделения первого признака из звукового содержимого;

получения второго признака из звукового содержимого, при этом второй признак существует вместе со вторым содержимым;

сравнения первого признака со вторым признаком; и

генерирования, на основании результатов сравнения, информации синхронизации, используемой для воспроизведения второго содержимого в синхронизации с первым содержимым; причем

сравнение первого признака и второго признака осуществляется после преобразования частоты кадров по меньшей мере одного из первого признака и второго признака, так что частота кадров первого признака совпадает с частотой кадров второго признака.

2. Устройство обработки информации по п. 1, в котором схема выполнена с возможностью:

получения звукового сигнала из звука, генерируемого при воспроизведении звукового содержимого вторым устройством обработки информации;

и выделения первого признака из звукового сигнала.

3. Устройство обработки информации по п. 1, в котором второе содержимое и второй признак передаются на устройство обработки информации в момент времени, определяемый на основе разницы между временем прибытия первого содержимого и временем прибытия второго содержимого и второго признака.

4. Устройство обработки информации по п. 1, в котором схема выполнена с возможностью:

запроса передачи второго содержимого и второго признака; и

приема второго содержимого и второго признака, передаваемых в ответ на запрос.

5. Устройство обработки информации по п. 4, в котором схема выполнена с возможностью:

запроса передачи первого содержимого; и

приема первого содержимого, передаваемого в ответ на запрос передачи первого содержимого.

6. Устройство обработки информации по п. 1, в котором схема выполнена с возможностью:

выделения первого множества признаков из звукового содержимого, причём первое множество признаков включает в себя первый признак;

получения второго множества признаков вместе со вторым содержимым, причём второе множество признаков включает в себя второй признак;

сравнения первого множества признаков со вторым множеством признаков; и

генерирования, на основе результатов сравнения первого множества признаков со вторым множеством признаков, информации синхронизации, используемой для воспроизведения второго содержимого в синхронизации с первым содержимым.

7. Устройство обработки информации по п. 1, в котором схема выполнена с возможностью управления воспроизведением второго содержимого.

8. Устройство обработки информации по п. 7, в котором схема выполнена с возможностью коррекции положения воспроизведения второго содержимого на основе информации синхронизации.

9. Устройство обработки информации по п. 1, в котором схема выполнена с возможностью:

получения информации о времени представления, ассоциированной с первым содержимым; и

получения диапазона времени, на основе результатов сравнения информации о времени представления, ассоциированной с первым содержимым, и информации о времени представления, ассоциированной со вторым содержимым,

при этом схема выполнена с возможностью генерирования информации синхронизации по меньшей мере частично посредством сравнения второго признака с одним или более признаками, выделенными из одной или более частей первого содержимого, проявляющихся в первом содержимом в определённом диапазоне времени.

10. Способ обработки информации для воспроизведения второго содержимого в синхронизации с воспроизведением первого содержимого, причём первое содержимое содержит звуковое содержимое, содержащий этапы, на которых:

выделяют первый признак из звукового содержимого;

получают второй признак звукового содержимого, причём второй признак существует вместе со вторым содержимым;

сравнивают первый признак со вторым признаком; и

генерируют, на основе результатов сравнения, информацию синхронизации, используемую для воспроизведения второго содержимого в синхронизации с первым содержимым; причем

сравнение первого признака и второго признака осуществляется после преобразования частоты кадров по меньшей мере одного из первого признака и второго признака, так что частота кадров первого признака совпадает с частотой кадров второго признака.

11. Энергонезависимый считываемый компьютером носитель информации, хранящий выполняемые процессором инструкции, вызывающие при их исполнении по меньшей мере одним компьютером выполнение указанным по меньшей мере одним компьютером способа обработки информации для воспроизведения второго содержимого в синхронизации с воспроизведением первого содержимого, при этом первое содержимое содержит звуковое содержимое, содержащий этапы, на которых:

выделяют первый признак из звукового содержимого;

получают второй признак звукового содержимого, причём второй признак существует вместе со вторым содержимым;

сравнивают первый признак со вторым признаком; и

генерируют, на основе результатов сравнения, информацию синхронизации, используемую для воспроизведения второго содержимого в синхронизации с первым содержимым; причем

сравнение первого признака и второго признака осуществляется после преобразования частоты кадров по меньшей мере одного из первого признака и второго признака, так что частота кадров первого признака совпадает с частотой кадров второго признака.

12. Устройство обработки звуковой информации для воспроизведения второго содержимого в синхронизации с воспроизведением первого содержимого с помощью второго устройства обработки информации, содержащее схему, выполненную с возможностью:

выделения признака из звука, генерируемого посредством воспроизведения первого содержимого;

ассоциации, в синхронизации с первым содержимым, признака со вторым содержимым, имеющим синхронизированную по времени взаимосвязь с первым содержимым, при этом ассоциация осуществляется после преобразования частоты кадров по меньшей мере одного из первого признака и второго признака, так что частота кадров первого признака совпадает с частотой кадров второго признака; и

вывода второго содержимого и признака.

13. Устройство обработки информации по п. 12, в котором схема выполнена с возможностью вывода первого содержимого.

14. Устройство обработки информации по п. 13, в котором схема выполнена с возможностью вывода второго содержимого и признака в момент времени, определяемый на основании разницы между временем прибытия первого содержимого и второго содержимого.

15. Устройство обработки информации по п. 13, в котором схема выполнена с возможностью вывода второго содержимого и признака в ответ на запрос на его передачу.

16. Устройство обработки информации по п. 15, в котором схема выполнена с возможностью вывода первого содержимого в ответ на запрос на его передачу.

17. Устройство обработки информации по п. 12, в котором схема выполнена с возможностью:

выделения множества признаков из звука, генерируемого из воспроизводимого множества частей первого содержимого; и

ассоциации и вывода выделенных признаков со вторым содержимым.

18. Устройство обработки информации по п. 12, в котором схема выполнена с возможностью:

понижения дискретизации признака для получения признака с пониженной дискретизацией; и

вывода второго содержимого и признака с пониженной дискретизацией.

19. Способ обработки звуковой информации для воспроизведения второго содержимого в синхронизации с воспроизведением первого содержимого с помощью второго устройства обработки информации, содержащий этапы, на которых:

выделяют признак из звука, генерируемого посредством воспроизведения первого содержимого;

ассоциируют, в синхронизации с первым содержимым, признак со вторым содержимым, имеющим синхронизированную по времени взаимосвязь с первым содержимым, при этом ассоциация осуществляется после преобразования частоты кадров по меньшей мере одного из первого признака и второго признака, так что частота кадров первого признака совпадает с частотой кадров второго признака; и

выводят второе содержимое и признак.

20. Энергонезависимый считываемый компьютером носитель информации, вызывающий при исполнении по меньшей мере одним компьютером выполнение указанным по меньшей мере одним компьютером этапов, на которых:

выделяют признак из звука, генерируемого посредством воспроизведения первого содержимого;

ассоциируют, в синхронизации с первым содержимым, признак со вторым содержимым, имеющим синхронизированную по времени взаимосвязь с первым содержимым, при этом ассоциация осуществляется после преобразования частоты кадров по меньшей мере одного из первого признака и второго признака, так что частота кадров первого признака совпадает с частотой кадров второго признака; и

выводят второе содержимое и признак.