Способ компоновки формата цифрового стереоскопического видеопотока 3dd tile format

Авторы патента:

G06T19/00 - Обработка или генерация данных изображения, вообще (специально предназначенные для особого применения см. соответствующие подклассы, например G06K,G09G,H04N)

G06T15/00 - Передача трехмерного (3D) изображения, например от модели к побитовому изображению

Владельцы патента RU 2556451:

Общество с ограниченной ответственностью "Триаксес Вижн" (RU)

Изобретение относится к способам представления цифровых изображений, в том числе видео и телевизионной информации и может быть использовано в системах цифрового стереоскопического телевидения. Техническим результатом является обеспечение возможности использования одного и того же видеопотока для показа на устройствах 2D и 3D визуализации различного типа. Предложен способ компоновки формата цифрового стереоскопического видеопотока 3DD Tile Format, включающий представления левого и правого кадров стереоскопического изображения в виде одного изображения, содержащего оба кадра в соответствии с предопределенным форматом 3D Tile Format. Согласно способу, размещают левый кадр L в верхней левой части изображения, разбивают правый кадр R на три части и размещают первую часть в правой верхней части изображения, вторую и третью части в нижней левой части изображения. При этом в нижнюю правую часть изображения дополнительно помещают информацию D о различиях между кадрами L и R, которую визуализируют в виде изображения так, что каждая точка изображения значениями яркости и цвета обозначает расстояние между точками соответствующих изображений в кадрах L и R. 2 ил.

Изобретение относится к способам представления цифровых изображений, в том числе видео и телевизионной информации и может быть использовано в цифровых системах телевидения, а также других способах демонстрации двумерного (2D) и объемного (3D) видео.

Известен способ форматом 3D Tile Format передачи стереоскопического видеопотока (Заявка WO 2012001606 (A1), опубл. 05.01.2012), который включает получение видеопотока, содержащего пару стереоскопических цифровых изображений. Способ представления левого и правого кадров (L кадр и R кадр) стереоскопического изображения в виде одного изображения, содержащего оба кадра в соответствии с предопределенным форматом 3D Tile Format. L и R кадры размером по 1280×720 точек каждый стереоскопического изображения формируют одно изображение размером 1920×1080 точек, содержащее оба кадра: L кадр размером 1280×720 точек помещается в верхнюю левую часть кадра; кадр R разбивается на три части: первая часть R1 размером 640×720 точек помещается в правую верхнюю часть изображения, вторая R2 и третья R3 части размером 640×360 точек помещаются в нижнюю левую часть изображения. Достоинством формата 3D Tile Format является возможность передачи стереоскопических данных в одном кадре размером 1920×1080 точек в соответствии со стандартном высокой четкости (HD), что обеспечивает совместимость с существующей юлекоммуникационной инфраструктурой.

Недостатком известного способа являются отсутствие информации для отображения на автостереоскопических устройствах визуализации (дисплеях и телевизорах) для создания объемного (3D) эффекта без использования специальных очков.

Основной технической задачей предложенного изобретения является создание формата представления видеоданных, позволяющего расширить функциональные возможности, существующих форматов, с целью обеспечения возможности использовать один и тот же видеопоток для показа на устройствах 2D и 3D визуализации различного типа, а также дисплеях и телевизорах, не использующих очки для создания у зрителя эффекта наблюдения объемного изображения, при этом обеспечить совместимость с существующим телекоммуникационным передающим и принимающим оборудованием.

Основная техническая задача достигается тем, в способе компоновки формата цифрового стереоскопического видеопотока 3DD Tile Format, включающем представления левого и правого кадров стереоскопического изображения в виде одного изображения, содержащего оба кадра в соответствии с предопределенным форматом 3D Tile Format, размещение левого кадра L в верхней левой части изображения, разбивку правого кадра R на три части и размещение первой части в правой верхней части изображения, второй и третьей части в нижней левой части изображения, согласно предложенному решению, в нижнюю правую часть изображения дополнительно помещают информацию D о различиях между кадрами L и R, которую визуализируют в виде изображения, при этом каждая точка изображения значениями яркости и цвета обозначает расстояние между точками соответствующих изображений в кадрах L и R.

Изобретение поясняется рисунками, где на фиг.1 представлена схема размещения данных в кадре, на фиг.2 - изображение в формате 3DD Tile Format.

Способ осуществляется следующим образом.

Компонуется кадр HD разрешением 1920×1080 точек, при этом L кадр с размером 1280×720 точек помещается в верхнюю левую часть изображения. R кадр разбивается на три части: первая часть (R1) размером 640×720 точек помещается в правую верхнюю часть изображения, вторая и третья части (R2 и R3) размером 640×360 точек помещается в нижнюю левую часть изображения. Информация о различиях между кадрами L и R помещается в нижнюю правую часть изображения размером 640×360. Информация D о различиях между кадрами L и R представляет собой цифровые данные, которые обозначают разницу в положении точек изображения в кадре L от точек соответствующего изображения в кадре R (disparity map). Информация D визуализируется в виде изображения, каждая точка которого значениями яркости и цвета обозначает расстояние между точками соответствующих изображений в L и R кадрах. Одно значение D может обозначать расстояние между группами точек кадров L и R. При разрешении информации D в 4 раза меньше разрешения кадров L и R, одно значение информации D соответствует дистанции между группами из 4 точек изображений L и R. Диапазон значений, которые может принять один элемент цифровых данных, определяется количеством бит на одну точку формируемого изображения. Значения информации D при необходимости нормируются к допустимому диапазону значений. При компоновке видео кадров других разрешений размеры изображений L кадра, частей R кадра R1, R2, R3, и информации D выбираются пропорционально исходному размеру кадра.

Заявляемое решение позволяет передавать 3D видео в форматах совместимых с различными типами 3D телевизоров и дисплеев, а также обеспечивает совместимость с обычными (2D) телевизорами, таким образом, достигая обратной совместимости 3D телевизионных каналов с существующими телевизионными приемниками.

Обратная совместимость заявляемого решения с существующими 2D цифровыми телевизионными приемниками достигается благодаря указанию cropping rectangle (области вывода) только по размеру кадра L. Это стандартный способ указания части изображения, предназначенного для вывода на экран, который принят и в стандартах MPHG-2 и 11.264/ AVC, которые используются в цифровых телевизионных трансляциях.

В результирующий видеопоток вставляется дополнительная сервисная информация, сигнализирующая принимающему устройству о формате с передаваемых данных. Данная информация помещается, например, в секцию SEI (Supplemental Enhancement Information) стандарта кодирования H.264, или в сервисную информацию (Service Information), которая описывает транспортный поток, в который упакованы видеоданные. Кроме того, информация о формате компоновки кадра, а также о параметрах нормирования информации D, может помещаться в заголовок каждого отдельного видеокадра в соответствии с общими методиками, принятыми в стандартах компрессии видеоданных. Эта дополнительная сервисная информация распознается специализированным декодером видеопотока, который обеспечивает вывод данных на экран в требуемом формате. Дополнительная сервисная информация не повлияет на работу обычных декодеров. В результате существующие 2D цифровые телевизионные приемники будут показывать только 2D часть цифрового универсального стереоскопического видеопотока.

Совместимость заявляемого решения с существующими цифровыми телевизионными приемниками, имеющими функцию показа 3D изображений с использованием специальных очков, достигается путем передачи левого L и правого R кадров стереоскопического изображения, которые демонстрируются зрителю с использованием очков.

Совместимость заявляемого решения с существующими автостереоскопическими устройствами визуализации (дисплеями и телевизорами), не использующими специальные очки для создания объемного (3D) эффекта, достигается путем передачи информации D о разнице в положении точек соответствующих изображений в L и R кадрах. Устройства - декодеры, принимающие сформированный видеоканал, содержащий информацию D, используют информацию D для определения относительного расстояния от наблюдателя до различных элементов изображений L и R. В результате для двух каналов L и R стереоскопического изображения формируются карты глубины (depth map) - вспомогательные изображения, в которых яркостью показана удаленность точек основного изображения от наблюдателя. Ряд моделей автостереоскопических дисплеев формируют 3D эффект на основе одного видеоканала и сопровождающей его карте глубины. Однако более реалистичный 3D эффект достигается при использовании двух исходных каналов L, R и двух карт глубин или же двух исходных каналов L, R и информации D. Возможность получить карту глубины для каждого исходного изображения обеспечивает заявляемое решение. На основе изображений L и R, а также информации D может быть построена многоракурсная серия кадров, моделирующая съемку с разных точек наблюдения. Такая серия кадров является исходными данными для автостереоскопических 3D дисплеев и телевизоров.

Таким образом, способ позволяет в универсальном виде хранить и передавать стереоскопические видеопотоки с дополнительной информацией D о различиях между кадрами L и R, которые после соответствующей обработки приемным устройством могут быть показаны зрителю в обычном двумерном виде, в стереоскопическом виде для наблюдения объемного эффекта с использованием специальных очков и в автостереоскопическом виде, создающем у зрителя ощущение объемности изображения без использования специальных очков.

Способ компоновки формата цифрового стереоскопического видеопотока 3DD Tile Format, включающий представления левого и правого кадров стереоскопического изображения в виде одного изображения, содержащего оба кадра в соответствии с предопределенным форматом 3D Tile Format, размещение левого кадра L в верхней левой части изображения, разбивку правого кадра R на три части и размещение первой части в правой верхней части изображения, второй и третьей части в нижней левой части изображения, отличающийся тем, что в нижнюю правую часть изображения дополнительно помещают информацию D о различиях между кадрами L и R, которую визуализируют в виде изображения, при этом каждая точка изображения значениями яркости и цвета обозначает расстояние между точками соответствующих изображений в кадрах L и R.

Изобретение относится к компьютерной технике, а именно к системам обработки изображений. Техническим результатом является повышение точности обнаружения области документа.

Расширение заголовка вырезки для трехмерного видео для прогнозирования заголовков вырезок // 2549168

Изобретение относится к технологиям кодирования и декодирования трехмерных видеоданных. Техническим результатом является повышение эффективности кодирования или декодирования видеоконтента с высоким разрешением или высоким качеством при помощи информации, указывающей на то, закодирована ли информация о текстуре единицы кодирования, и принимая во внимание вырезку глубины.

Устройство регистрации изображения и способ управления им // 2549143

Изобретение относится к вычислительной технике, а именно к устройствам захвата изображений, имеющих функцию отслеживания объекта и функцию непрерывной съемки. Техническим результатом является повышение точности функции отслеживания объекта устройства регистрации изображения в ходе непрерывной съемки, за счет устранения задержки по времени между обнаружением объекта и получением информации фокуса в позиции объекта.

Устройство помощи при вождении и способ обнаружения транспортного средства рядом с ним // 2546547

Группа изобретений относится к средствам помощи при вождении транспортного средства. Техническим результатом является повышение точности обнаружения транспортного средства, находящегося рядом с движимым транспортным средством.

Устройство обработки изображений и способ управления таковыми // 2544793

Изобретение относится к компьютерной технике, а именно к устройствам и способам обработки изображений. Техническим результатом является обеспечение преобразования исходного изображения в изображение, подобное живописи, за счет настройки уровня размытости в соответствии с параметром регулировки съемки исходного изображения и объекта, включенного в исходное изображение.

Способ синхронизации цифрового водяного знака электронного изображения // 2544779

Изобретение относится к области электросвязи. Технический результат - повышение установления синхронизации цифрового водяного знака электронного изображения (ЭИ) при разделении ЭИ со встроенным цифровым водяным знаком на составные части произвольного размера.

Устройство обнаружения трехмерных объектов // 2544775

Изобретение относится к устройствам обнаружения трехмерных объектов. Техническим результатом является повышение точности оценки естественных трехмерных объектов.

Устройство автоматического музыкального исполнения // 2544749

Изобретение относится к компьютерной технике. Технический результат - автоматическое инструментальное исполнение синхронно с видео.

Воспроизведение с быстрым доступом к объектам видеоданных // 2543936

Изобретение относится к средствам управления воспроизведением видеоданных. Техническим результатом является адаптация статуса воспроизведения секции видеоданных в зависимости от изменения статуса отображения изображения.

Способ определения значений модуля упругости и его распределения в конструктивных элементах, обладающих неопределёнными свойствами прочности // 2542918

Изобретение относится к средствам анализа изображений компьютерной томографии. Техническим результатом является повышение точности определения значений модуля упругости неоднородных материалов исследуемого элемента.

Комбинирование 3d видео и вспомогательных данных // 2554465

Изобретение относится к средствам передачи сигнала трехмерного видео на конечное устройство. Техническим результатом является повышение точности комбинирования вспомогательных данных и 3D видеоконтента.

Точки входа для ускоренного 3d-воспроизведения // 2552137

Изобретение относится к средствам обработки видеоданных. Техническим результатом является повышение качества отображения при воспроизведении ускоренного воспроизведения 3D-видеоданных.

Многосекционное выравнивание данных для получения изображений // 2551791

Изобретение относится к средствам обработки объемных изображений. Техническим результатом является уменьшение времени создания конечных изображений при выравнивании объемных секций данных изображения.

Выбор точек обзора для формирования дополнительных видов в 3d видео // 2551789

Изобретение относится к технологиям кодирования видеоданных. Техническим результатом является повышение качества формирования изображений с разных точек обзора за счет формирования указателя предпочтительного направления.

Переключение между трехмерным и двумерным видеоизображениями // 2547706

Изобретение относится к средствам обработки трехмерного видеоизображения. Техническим результатом является повышение скорости переключения между режимами трехмерного и двумерного отображения.

Мультивидовое автостереоскопическое устройство отображения // 2546553

Изобретение относится к автостереоскопическим устройствам воспроизведения. Техническим результатом является обеспечение увеличения эффективного разрешения отображения при одновременном сохранении необходимой скорости переключения.

Способы и системы для представления трехмерных изображений движения с адаптивной к содержимому информацией // 2546546

Изобретение относится к средствам формирования субтитров трехмерного фильма. Техническим результатом является обеспечение оптимизации формирования субтитров на отображаемом трехмерном изображении с сильным параллаксом.

Способ визуализации функционального состояния индивида и система для реализации способа // 2546080

Изобретение относится к информационным и сетевым технологиям, а именно к электронной информационной системе, обеспечивающей формирование и визуальное отображение на экране терминального устройства персонализированной графической модели индивида по предварительно введенным антропометрическим, диагностическим, биохимическим и др.

Способ формирования изображения объемных объектов или глубоких сцен и устройство для его осуществления // 2544784

Изобретение относится к средствам обработки цифровых изображений. Техническим результатом является получение резкого изображения объемного объекта с неограниченной глубиной резкости.

Телевизионный многоракурсный способ получения, передачи и приема стереоинформации о наблюдаемом пространстве с его автоматическим измерением. система "третий глаз" // 2543549

Изобретение относится к стереоскопическому телевидению. Техническим результатом является повышение точности управления передачей стереоскопического видеоизображения за счет автоматического измерения предметного пространства съемки в реальном времени.

Генерирование модифицированного трехмерного изображения для объекта, содержащего следы от применения // 2557458

Изобретение относится к области генерирования изображений. Технический результат - упрощение способа сравнения объектов в том случае, когда требуется одновременно сравнить макроскопическую форму объектов и их микроскопические признаки. Способ генерирования трехмерного представления объекта, содержащий этапы, на которых: получают трехмерные топографические данные, представляющие по меньшей мере один участок объекта, имеющего макроскопическую форму и микроскопические признаки следов от применения на поверхности объекта; разделяют указанные трехмерные топографические данные на микроскопические данные, представляющие микроскопические признаки, и макроскопические данные, представляющие макроскопическую форму; независимо масштабируют микроскопические данные или макроскопические данные для выделения микроскопических признаков относительно макроскопической формы, получая тем самым масштабированные топографические данные; и генерируют трехмерное изображение с помощью масштабированных топографических данных, получая тем самым модифицированное представление с выделенными микроскопическими признаками для указанного по меньшей мере одного участка объекта. 3 н. и 16 з.п. ф-лы, 10 ил.