Способ уплотнения и распаковки видеоданных
Изобретение относится к способу уплотнения и распаковки видеоданных. Технический результат заключается в обеспечении простого и гибкого согласования с различными скоростями передачи, шириной полосы передачи, разрешающей способностью и величиной дисплея соответственно. Технический результат достигается тем, что для каждого пикселя матрицы определяют величину приоритета, вычисляют величину различия пикселей, объединяют использованные для вычисления величины приоритета пикселей в одну группу пикселей, сортируют группы пикселей, сохраняют и/или передают группы пикселей в соответствии с их приоритетом в матрице приоритетов, причем упомянутые операции постоянно повторяют, при этом величины приоритета групп пикселей постоянно определяют вновь, матрица приоритетов в каждый момент времени содержит рассортированные по текущим приоритетам группы пикселей, а также предпочтительно сначала сохраняют и передают те группы пикселей, которые имеют наивысший приоритет и до сих пор еще не передавались. 2 н. и 9 з.п. ф-лы, 8 ил., 1 табл.
Изобретение относится к способу уплотнения и распаковки видеоданных.
Видеоизображения создают большой объем данных. Для эффективной передачи и хранения этих объемов данных целесообразно их уплотнять.
Согласно уровню техники видеосигналы записываются и воспроизводятся в быстрой последовательности отдельных кадров. В телевидении (стандарт PAL) это 25 кадров, соответственно 50 полукадров в секунду. При цифровой записи изображений это примерно 30 кадров в секунду. Каждый кадр раскладывается на строки и затем передается последовательно.
Предшествующие способы уплотнения основываются в основном на уменьшении разрешающей способности, глубины цвета и сокращении количества кадров в секунду. При цифровой компрессии, например, в способах MPEG вместо полных кадров передают по существу разностные изображения, т.е. отличия отдельных точек изображения (пикселей) по сравнению с предыдущим изображением. Новейшим стандартом для кодирования видеоданных является MPEG4.
MPEG является сокращением для "Экспертная группа по кинематографии". Эта группа закрепила форматы файлов и способы для экономящего место уплотнения и хранения видеоданных, соответственно мультимедийных данных (видеоданных, данных изображения и звуковых данных) с высоким качеством. В настоящее время стандарт MPEG подразделяется на MPEG-1, MPEG-2, MPEG-3 и MPEG-4, при этом стандарт MPEG-3 уже интегрирован в MPEG-2.
Для того чтобы огромные объемы данных можно было обрабатывать и передавать "нормальными" компьютерами, сохраняют лишь изменения к предшествующему кадру. Согласно формату MPEG сохраняют с равномерными интервалами для обычно двенадцати кадров так называемые интракадры; они являются отдельными кадрами, уплотненными в соответствии со стандартом JPEG. Кадры между этими интракадрами сохраняются по возможности неполностью. Вместо этого записывают в соответствии со стандартом MPEG, как их можно получить за счет смещения частей из предыдущих или последующих кадров. Для этого применяют также прогнозирующие Р-кадры (кадры, сжатые с использованием ссылки на одно изображение) и В-кадры (двунаправленные кадры). Однако, поскольку это никогда не удается реализовать безупречно, то дополнительно для каждого кадра записывают остаточное отклонение с кодированием по стандарту JPEG. С помощью этого способа можно уменьшить объем данных для одного видеофильма примерно на 99%. Возможное уплотнение доходит до 200:1. MPEG-1 был разработан для плавного воспроизведения видеофильмов. Уплотнение, соответственно распаковка MPEG-1, была первоначально способом, зависящим от аппаратного обеспечения. Однако благодаря более быстрым процессорам в настоящее время возможно также уплотнение с помощью программного обеспечения. Существенное различие между MPEG-1 и MPEG-2 состоит в том, что MPEG-2 позволяет лучше обрабатывать используемый в телевидении способ пропуска строк (чресстрочную развертку). Смысл MPEG-2 заключается в уплотнении на высшем уровне качества, так что киноматериал можно обрабатывать и редактировать почти 1 к 1 со студийным качеством. Логическим образом MPEG-2 стал стандартом. При чисто внутрикадровом уплотнении можно применять MPEG-2 даже в режиме монтажа. Часть стандарта MPEG-3, которая была предусмотрена для телевидения с высоким разрешением, в последнее время вошла в стандарт MPEG-2.
MPEG-4 является дальнейшим развитием формата MPEG-2 и находится с 1996 г. в разработке. Хотя первоначально MPEG-4 был задуман в качестве стандарта для кодирования аудиовизуальных данных с очень низкой битовой скоростью, развитие служило более широким целям, чем только образованию потоков линейных данных носителей информации при применении для Интернета и беспроволочной передачи. MPEG-4 предоставляет, например, эффективные механизмы для уплотнения и распределения интерактивного содержимого носителей данных. Кроме того, MPEG-4 имеет возможности для трехмерного изображения для визуализации искусственного интеллекта или изображения видеообраза абонента, например, в рамках видеоконференции. Степень уплотнения при MPEG-4 выше, чем при MPEG-2, при этом можно лучше уплотнять спрайты, поскольку механизм кодирования предоставляет для этого значительно больше времени. При этом при необходимости можно даже переключаться на небольшие волны (wavelets). Язык описания сценариев позволяет значительно быстрее выполнять в течение нескольких байтов такие операции, как "сдвигание", чем обеспечивалось бы цифровой уплотненной формой тех же операций. С помощью этих спрайтов можно надвигать имеющие произвольный контур неподвижные изображения на подвижные изображения.
Задачей данного изобретения является создание способа уплотнения и распаковки видеоданных, который обеспечивает простое и гибкое согласование с различными скоростями передачи, соответственно шириной полосы передачи, разрешающей способностью и величиной дисплея.
Эта задача решена с помощью признаков пункта 1 формулы изобретения.
Предпочтительные варианты выполнения и модификации изобретения указаны в зависимых пунктах формулы изобретения.
Предпочтительно происходит параллельная обработка видеоинформации в микросхеме приема изображения. Параллельная обработка служит для определения сначала наиболее важных минимальных элементов изображения (пикселей) и занесения их в соответствии с приоритетом в матрицу приоритетов. Эта матрица в любой момент времени содержит сортированные по приоритету величины пикселей. В соответствии с приоритетом передают, соответственно записывают, эти пиксели и использованные для расчета приоритета величины пикселей. Пиксель получает высокий приоритет, если отличия от его смежных пикселей являются очень большими.
Для реконструкции на дисплее отображаются соответствующие текущие величины пикселей. Еще не переданные пиксели вычисляют из уже переданных пикселей.
В соответствии с вычислительной мощностью, шириной полосы передачи и величиной дисплея можно использовать различные способы для вычисления еще не переданных пикселей. Если в распоряжении имеется очень большая ширина полосы, то можно выполнять простую линейную интерполяцию. Если в распоряжении имеется лишь очень небольшая ширина полосы, то это можно учитывать при передаче приоритетных пикселей.
Из хода предыстории передаваемых пикселей можно идентифицировать объекты и тем самым выполнять оценку движения этих объектов.
Основная идея изобретения основана на приоритетном запоминании, соответственно передаче пикселей. При сохранении, соответственно при передаче, видеоданных необходимо дополнительно учитывать временные и позиционные (внутри матрицы изображения) зависимости отдельных пикселей или объединенных в группы пикселей.
Для достижения экстремально высокого уплотнения данных передают соответствующие группы пикселей, которые имеют наивысший приоритет и еще не были переданы. Поверхности, т.е. величины пикселей между ужу переданными группами пикселей, вычисляют из уже переданных групп пикселей, например, с помощью интерполяции. При более высоком разрешении (более крупных матрицах изображения) увеличивается достигаемый коэффициент уплотнения, поскольку при естественной съемке большие поверхности имеют хорошо предсказуемый (равномерный) ход окраски, например голубое небо.
Следует также отметить, что каждый раз передаются точные величины пикселей. При необходимости, способ обеспечивает передачу видеоинформации без потерь.
Восстановление, соответственно реконструкция, видеоданных основывается на оценках аналогично зрению человека. Человек воспринимает раздражения, а интерпретация того, что он различает в этом изображении, происходит лишь в его уме. Раздражения соответствуют передаваемым группам пикселей, интерпретация соответствует заполнению поверхностей между еще не переданными группами пикселей.
Для реализации этого можно создавать дополнительные матрицы. Среди прочего, эти матрицы являются матрицами, в которых имеется информация, из каких групп пикселей была определена величина пикселя в данном положении. Другая информация может состоять в том, когда были вычислены эти величины, из каких групп пикселей они были вычислены, соответственно переданы. В качестве дополнительной информации можно получить оценку точности величин (например, вычислить из непосредственно смежных пикселей небольшое изменение, принятое за основу для вычисления пикселей).
Указанный способ обеспечивает значительно более простое согласование потока видеоданных с различными размерами дисплея и разрешением изображения.
Другое преимущество состоит в том, что за счет указанного вида кодирования видеоизображения не автоматически задается, с помощью каких алгоритмов должно быть декодировано видеоизображение. Это достигается за счет передачи снабженных приоритетом величин пикселей, которые в противоположность другим способам не подвергаются образованию среднего значения. Таким образом, изготовители имеют возможность разрабатывать терминалы от низкой до высокой стоимости и отличаться от конкурентов различными алгоритмами.
Желаемая массивная параллельная обработка видеоданных в специально разработанной для этого микросхеме позволяет применять экстремально низкие тактовые скорости, что положительно сказывается на потреблении тока.
За счет придания приоритетов можно определенные зоны видеоизображения (например, губы диктора) передавать с более высоким приоритетом, а следовательно, с лучшим разрешением.
Способ позволяет отфильтровывать из потока видеоданных для различных терминалов оптимальные потоки частичных данных без необходимости учитывать это при видеосъемке.
Ниже приводится подробное описание примера выполнения изобретения со ссылками на чертежи. Из чертежей и их описания следуют дополнительные признаки, преимущества и возможности применения изобретения. На чертежах изображено
фиг.1 - матрица кадра из 20×21 пикселей;
фиг.2 - различные формы групп пикселей;
фиг.3 - матрица кадра с подвижным объектом в момент времени t1;
фиг.4 - матрица кадра с подвижным объектом в момент времени t2;
фиг.5 - матрица кадра с подвижным объектом в момент времени t3;
фиг.6 - вновь генерированная матрица кадра с введенными группами пикселей в углу кадра;
фиг.7 - заполнение поверхности между уже введенными группами пикселей;
фиг.8 - введение других групп пикселей и заполнение лежащих между ними поверхностей.
Ниже приводится описание уплотнения и распаковки видеосигнала на примере выполнения.
При этом делаются следующие предположения.
В качестве источника видеоизображения имеется обычный в настоящее время видеосигнал (например, PAL или NTSC). Видеоинформация может считываться с помощью предлагаемого в торговле электронного устройства (например, карта захвата кадра). Для иллюстрации способа в последующем применяется уменьшенная матрица кадра с шириной в 20 пикселей и высотой в 21 пиксель (смотри фиг.1). Каждый пиксель матрицы представлен величиной из 32 бит (величина пикселя), 32 бита разделены, например, на 4 величины (прозрачный, красный, зеленый, синий) по 8 бит в каждой. Позиция пикселя задана целым числом. Матрица кадра пронумерована, как показано на фиг.1, от 0 до 419. Число внутри каждой клетки соответствует положению соответствующего пикселя. Между источником и приемником существует соединение UDP (протокол дейтаграмм пользователя). Через них затем пересылаются уплотненные видеоданные.
Уплотнение видеосигнала происходит следующим образом.
Способ основывается на том, что постоянно осуществляется определение приоритетов отдельных пикселей видеосигнала, при этом пиксели в соответствии с их приоритетом заносятся в матрицу. Эта матрица содержит в каждый момент времени текущие, рассортированные по приоритетам величины пикселей. Пиксель получает высокий приоритет, если различия с его смежными пикселями являются очень большими. Пиксель вместе с его использованными для вычисления смежными пикселями объединяют в группу пикселей. Эти группы передают, соответственно сохраняют, в соответствии с приоритетами.
Считывание матрицы кадра
Устройство захвата кадра имеет в каждый момент времени соответствующий текущий кадр в своей матрице кадра, которая может быть в качестве примера, показанной на фиг.1, матрицей кадра размером 20×21 пикселей. Каждый пиксель задан своей позицией (от 0 до 419) и своей величиной пикселя (величиной цвета, соответственно яркости).
Определение групп пикселей
Сначала задают, какие смежные пиксели образуют группу пикселей. При этом р0 обозначает тот пиксель, который определяет позицию группы пикселей и для которого вычисляют приоритет. Относительное положение других пикселей, например p1-р4, группы пикселей, относящихся к опорному пикселю р0, следует из примененного вида (формы) группы пикселей. На фиг.2 показаны в качестве примера некоторые возможные формы групп пикселей. Могут быть образованы как симметричные, так и несимметричные относительно опорного пикселя р0 группы пикселей. Какой вид группы пикселей применяется, зависит среди прочего от вида изображаемого материала и желаемой степени уплотнения. Как правило, достижимый коэффициент уплотнения тем больше, чем больше пикселей содержит одна группа пикселей. Для кодирования и декодирования, т.е. для уплотнения и распаковки видеоизображения, необходимо применять одинаковую форму групп пикселей.
Определение величин приоритета
Затем для каждого пикселя р0 группы пикселей вычисляют приоритет относительно его группы пикселей. При этом каждый пиксель 0-419 кадра становится однажды опорным пикселем р0. При этом, согласно изобретению предусмотрено, что вычисление величин приоритета пикселей по возможности осуществляется в рамках параллельной обработки данных. Оптимальным является, когда вычисление приоритетов всех пикселей кадра выполняется одновременно. Поскольку речь идет о видеосигнале, то величины приоритета всех пикселей постоянно вычисляются вновь, так как содержание кадра постоянно изменяется. Однако множество групп пикселей, в частности, с низким приоритетом с высокой вероятностью не изменяются.
Для вычисления приоритета можно использовать различные методы вычислений. В качестве примера в данном случае применяется линейный метод.
Для этого отдельные величины Р0, Р1, Р2, Р3 и Р4 пикселей одной группы раскладывают на составляющие цвета красный, зеленый, голубой. Каждую из этих величин цвета представляют 8 битами. Для каждого цвета каждого пикселя Р1-Р4 определяют величину разницы цвета относительно Р0, например Р0_красный-Р1_красный, Р0_красный-Р2_красный,,,,. Р0_синий-Р4_синий. Абсолютные разностные величины цвета складывают и делят на число цветов и число рассматриваемых пикселей. Результат является величиной приоритета для рассматриваемой группы пикселей. Эта величина приоритета тем больше, чем больше различаются величины цвета отдельных пикселей группы.
Другие методы определения величин приоритета заключаются в использовании величин серого или максимальной величины цветоразности одного цвета. Поскольку сама величина приоритета позже не передается, соответственно не сохраняется, то способ определения величины приоритета не имеет непосредственного влияния на декодирование.
За счет определения приоритетов достигается то, что зоны кадра, которые имеют большое изменение цвета или контраста, например кромки, получают высокий приоритет, а относительно неизменное содержимое кадра, например голубое небо, имеет низкий приоритет.
Сортировка величин приоритета
На этой стадии сортируют величины приоритетов по мере убывания их величин. Сортировку выполняют после определения каждой новой величины приоритета. Таким образом, для каждого момента времени имеют упорядоченный по приоритетам список групп пикселей, которые рассортированы в убывающем порядке. Желательно разработать соответствующие устройства получения изображения (микросхемы с зарядовой связью - CCD-chips), которые выдают непосредственно такой упорядоченный по приоритету список. Если подлежащее уплотнению изображение получают непосредственно с помощью камеры или сканера на основе приборов с зарядовой связью, то существует принципиальная возможность получать из имеющейся в камере/сканере, обрабатывающей изображение микросхемы, непосредственно сортированную по приоритетам матрицу. Тем самым при уплотнении экономится существенная часть затрат на вычисления.
Обновление величин приоритета
В противоположность неподвижным изображениям (например, фотоснимкам) в видеоинформации существует постоянное изменение приоритетов групп пикселей, например, вследствие поворота камеры или движения объектов. Для демонстрации этого на фиг.3-5 показана матрица кадра в разные моменты времени t1-t3, при этом один объект смещается справа налево.
Согласно фиг.1 кадр в момент времени t1 содержит объект, который заполняет пиксели 156, 157, 176, 177, 191-197, 211-217. 231-237, 256, 257, 276, 277. Для вычисления приоритетов пикселей (0-419) кадра применяют обведенную толстой линией на фиг.2 форму группы пикселей (внизу слева). Получают распределение приоритетов пикселей, показанное, например, далее в описании способа в таблице 1 для момента времени t1. Таблица содержит, соответственно, лишь номер опорного пикселя (р0) одной группы пикселей. Те группы пикселей, которые находятся в краевой зоне объекта и в которых соответствующий опорный пиксель (р0) имеет наибольшее отличие от других пикселей группы, получают наивысший приоритет А. Группы пикселей, опорный пиксель которых имеет меньшее отличие от остальных пикселей группы, получают средний приоритет В, а те группы пикселей, опорный пиксель которых вообще не имеет отличия от остальных пикселей группы, получают самый низкий приоритет С.
| Таблица 1 | |||
| Приоритет А | Приоритет В | Приоритет С | |
| Момент | 175,255,231,191, | 177,197,217,237,257, | 0,1,2,3,4,5,6,7,8,9, |
| времени t1 | 156,157,277,276 | 176,256,211,192,... | 10,11,12,13,14,15,... |
| Момент | 189,173,154,155, | 175,195,215,235,255, | 0,1,2,3,4,5,6,7,8,9, |
| времени t2 | 274,275,253,229 | 190,191,192,193,... | 10,11,12,13,14,15,... |
| Момент | 187,171,227,251, | 173,193,213,233,253, | 0,1,2,3,4,5,6,7,8,9, |
| времени t3 | 152,153,272,273 | 188,189,190,191,... | 10,11,12,13,14,15,... |
| ... | ... | ... | ... |
В рамках уплотнения сначала передают, соответственно сохраняют, снабженные приоритетом А группы пикселей, затем группы пикселей с приоритетом В и наконец группы пикселей с приоритетом С. Поскольку объект в это время перемещается и принимает относительно показанного на фиг.3 другое положение, показанное на фиг.4 и 5, то изменяются приоритеты отдельных групп пикселей. Список приоритетов обновляется и тотчас продолжается передача текущих групп пикселей с наивысшим приоритетом.
Вновь вычисленные приоритеты групп пикселей для момента времени t2 (фиг.4) и t3 (фиг.5) показаны в таблице 1.
Таким образом, возможная уплотненная передача видеосигнала согласно таблице 1 может выглядеть следующим образом:
Момент времени t1: передают группы пикселей с наивысшим приоритетом А:
175,255,231,191,156,157,277,276,177,197,217.
В момент времени t2 выявляют новые приоритеты. Другие группы пикселей получают наивысший приоритет А. Передачу продолжают для нового приоритета А:
189,173,154,155,274,275,253,229.
Затем следует передача групп пикселей с приоритетом В:
175,195,215,235,255,190,191,192,193,...
В момент времени t3 выявляют новые приоритеты. Другие группы пикселей получают наивысший приоритет А. Передачу продолжают для нового приоритета А:
187,171,227,251,152,153,272,273.
В дополнительной матрице проверяют, какие группы пикселей уже были переданы. Если группа пикселей уже передана, то ее не надо передавать во второй раз, если за это время не изменился ее приоритет. Определенные зоны изображения, например лица, можно распознавать и передавать предпочтительно. Дополнительно к этому, приемник может также затребовать определенные группы пикселей (например, при распознавании ошибок передачи с помощью контроля с использованием избыточного циклического кода). Такие затребованные группы пикселей могут получать затем более высокий приоритет, так что они тотчас передаются.
Передача/сохранение групп пикселей
Понятия "сохранять" и "передавать" используются в последующем как синонимы. Сначала передают, соответственно сохраняют, некоторые характеристики видеоизображения. В качестве примера можно назвать
- ширину изображения (в пикселях),
- высоту изображения (в пикселях),
- примененная форма группы пикселей (нет необходимости, если стандартизована только одна форма).
Наконец, передают, соответственно сохраняют, отдельные группы пикселей в соответствии с их приоритетом, т.е. сначала сохраняют группы пикселей с высоким приоритетом (а позже также сначала считывают).
Для этого сначала сохраняют величину положения опорного пикселя р0 группы пикселей. Затем сохраняют величины пикселей Р0, Р1, Р2, Р3, Р4.
Пример
Величина Р0 положения, величины пикселей Р0, Р1, Р2, Р3, Р4; следующая величина Р0 положения (с тем же или более низким приоритетом), величины пикселей Р0, Р1, Р2, Р3, Р4, ..., следующая величина Р0 положения, величины пикселей Р0, Р1, Р2, Р3, Р4.
Сохранение можно оптимировать с помощью различных методов, которые приводятся здесь лишь в качестве примеров. Можно осуществлять кодирование длины прохождения групп пикселей. Например, если в одной зоне изображения нет составляющих красного, то это можно передавать вместо 8 бит (красный) лишь с помощью, например, 2 бит, или же можно использовать число направляющих нулей. Кроме того, можно применять широко применяемые методы уплотнения, например формат уплотнения. За счет установки предельного значения для позиционирования можно обеспечивать определенное качество. Например, можно задать предельное значение для величин различия пикселей, ниже которого соответствующая группа пикселей всегда получает самую низкую величину приоритета. Если сначала передавать 4 группы пикселей угловых точек, то обеспечивается возможность вычисления с помощью небольшого числа групп пикселей возможно большей поверхности.
Реконструкция (распаковка) видеоданных
Генерирование новой матрицы изображения
При реконструкции уплотненных видеоданных сначала создают матрицу изображения, аналогичную показанной на фиг.1. Для этого считывают и оценивают характеристики изображения. Например, это ширина изображения, высота изображения и форма применяемой для уплотнения группы пикселей. Если высота изображения и ширина изображения первоначального изображения не совпадают с желаемым изображением (например, ограниченный дисплей персонального цифрового секретаря или экран с большим разрешением), то необходимо применять соответствующее масштабирование. Для этого сначала определяют коэффициенты пересчета (ширина изображения_оригинал/ширина изображения_дисплей и высота изображения_оригинал/высота изображения_дисплей). Эти коэффициенты пересчета можно использовать для пересчета величины положения первоначального изображения в величину положения нового дисплея.
Ввод групп пикселей
Как показано на фиг.6, затем считывают последовательно группы пикселей в соответствии с их приоритетами. Например, в матрицу изображения вводят первые четыре группы пикселей с наивысшим приоритетом. На фиг.6 это группы пикселей в углах изображения. Положение опорного пикселя р0 соответствующей группы пикселей задается более темными полями 21, 38, 381, соответственно 398. Эта величина положения (р0) находится в виде целого числа в сохраненном файле. Затем можно вводить в новую матрицу относящиеся к соответствующей группе пикселей темно-серые величины пикселей (р1-р4). Расположенные между ними светло-серые величины пикселей можно затем вычислить из темно-серых и черных полей. Для вычисления сначала раскладывают известные величины пикселей на их составляющие части красный, зеленый и синий. Затем вычисляют среднее значение каждого цвета, например пиксель(22) = (пиксель(2) + пиксель(21) + пиксель (42)/3).
Заполнение поверхностей
Затем уже имеющиеся группы пикселей соединяют друг с другом линиями. Это показано на фиг.7. Получаются треугольники, углы которых заданы соответствующими группами пикселей. Ниже это поясняется на примере линии между позицией пикселя 2 и позицией пикселя 17. Изменение цвета на линии вычисляют на основании величин цвета пикселей 2 и 17. Сначала определяют число пикселей между этими двумя позициями, в данном примере их 14. Затем для каждого цвета (красного, зеленого, синего) определяют цветоразность, например величина цвета в позиции 2=2; величина цвета в позиции 17=30 дает цветоразность 28. Увеличение величины цвета на один пиксель - от пикселя 2 до пикселя 17 - вычисляют как цветоразность/число пикселей (в данном примере 28/14=2).
Оставшуюся поверхность заполняют проведением горизонтальных линий, например, из позиции 63 в позицию 74, из позиции 82 в позицию 93 и т.д. В этом случае также вычисляют предварительный ход изменения цвета между точками, как указывалось выше.
Как показано на фиг.8, каждая дополнительно введенная группа пикселей образует дополнительные треугольники, которые можно заполнять соответствующим образом. После того как сначала заполнят всю поверхность за счет использования 4 угловых точек (21, 38, 398, 381), можно затем с помощью каждой дополнительной группы пикселей делать разрешение все более тонким. Добавление группы пикселей 87 приводит к 4 треугольникам с опорными точками (21,38,87), (21,87,381), (381,87,398), (398,87,38). Если внутри одного такого треугольника, например 87,381,398, добавить другую группу пикселей (247), то возникают 3 новых треугольника (247,381,398), (247,87,381) и (247,87,398). Таким образом, каждая новая группа пикселей создает 3 новых треугольника, которые можно заполнять. Чем больше будет введено групп пикселей, т.е. чем больше будет образовано треугольников, тем ближе подходит вычисленный ход изменения цвета к действительному ходу изменения цвета изображения. Поскольку с этого момента возникают лишь новые треугольники, то можно применять для вычисления оптимированные способы. Кроме того, соответствующие 3 вновь возникших треугольника можно вычислять параллельно для увеличения скорости обработки. Дополнительные возможности параллельной обработки возникают, если новые группы пикселей добавлять в разных зонах изображения.
В описанных выше стадиях способа было заранее принято, что содержимое изображения не изменяется. Если содержимое изображения изменяется, то снова распределяют приоритеты отдельных групп пикселей и передают текущие группы пикселей с наивысшим приоритетом. Изменяется лишь последовательность передаваемых в данный момент и вводимых в кадр групп пикселей. Однако в указанном выше принципе реконструкции изображения ничего не изменяется.
Однако для учета изменений содержимого изображения во времени можно создавать дополнительные матрицы (с размером матрицы изображения). Они могут содержать данные о
- времени, т.е. когда в последний раз была вычислена, соответственно передана, величина пикселя;
- основе вычисления, т.е. какой переданный пиксель использовался для вычисления величины пикселя;
- вероятности/точности, т.е. была величина пикселя передана или вычислена; если она была вычислена, то каково различие групп пикселей, из которых была вычислена новая величина;
- отклонении уже вычисленных величин пикселей от переданных затем величин пикселей.
Из этих величин можно затем определить зоны изображения, в которых часто происходят изменения групп пикселей. Смежные группы пикселей, или даже полные зоны, как правило, претерпевают аналогичные изменения, например изменения яркости, изменения цвета. За счет оценки этих изменений можно, как правило, определять объекты и их динамическое поведение, например объект, который перемещается в видеоизображении. Равномерные изменения относительно всей матрицы изображения могут указывать, например, на поворот камеры. Если оценивать эту информацию, например, с помощью способных к обучению нейронных сетей, то можно очень легко выполнять оценку величин пикселей еще непереданных групп пикселей. Если такие оценки правильные, то можно идентифицировать группы пикселей, которые оказывают особое влияние на изменение объектов. Если эти группы снова запрашивают из источника, то можно точно определить и предсказать движения объекта с помощью лишь немногих групп пикселей. На практике это означает, что хотя в распоряжении имеется лишь небольшая ширина полосы, возникает время задержки, которое значительно меньше, чем в основанном на кадрах способе. Оценка дополнительно генерируемых в приемнике матриц обеспечивает также хорошее распознавание объектов.
В зависимости от имеющихся в распоряжении ресурсов можно наряду с определением приоритетов чисто на основе величин цвета смежных пикселей использовать также зависимости положения снабженных приоритетом групп пикселей. Для пояснения ниже приводится случай применения. Если рассматривать на море горизонт, то он представляется горизонтальной линией. Можно ожидать, что величины приоритета каждой группы пикселей вдоль этого горизонта примерно одинаковы. В этом случае наиболее удаленные друг от друга точки линии горизонта имеют наибольшую информативность. За счет передачи самой левой и самой правой групп пикселей горизонта уже можно снова реконструировать его.
Другая возможность распределения приоритетов заключается в более высокой оценке определенных зон изображения. Такой зоной изображения могут быть, например, лица. Хотя на сделанных во время отпуска фотоснимках лица иногда занимают лишь незначительную часть всего изображения, при рассмотрении они в большинстве случаев находятся в центре внимания. Такое свойство зрения человека можно учитывать с помощью соответствующего распределения приоритетов групп пикселей этой зоны изображения (зоны лиц). Также могут получать более высокий приоритет группы пикселей в центре видеоизображения.
Другая возможность оптимирования состоит в том, что смежные группы пикселей накладываются друг на друга. За счет правильного выбора групп пикселей можно избежать повторной передачи перекрывающихся величин пикселей смежных групп.
Объем вычислений, используемый для декодирования, можно свободно масштабировать. При небольших дисплеях (например, ручных) необходим, естественно, меньший объем вычислений, чем при воспроизведении на большом экране высокого разрешения, хотя оба используют одинаковый исходный поток данных, состоящий из снабженных приоритетом групп пикселей. Это свободное масштабирование позволяет изготовителям терминалов снабжать свои приборы специальным оптимированием, например числом объектов, предысторией изменений изображения. Для изготовителей появляется возможность отличиться от своих конкурентов, не нарушая совместимости передачи видеоизображения.
1. Способ уплотнения видеоданных, которые состоят из матрицы отдельных точек изображения (пикселей), при этом каждый пиксель (0-419) имеет изменяющуюся во времени величину пикселя, которая описывает цветную или яркостную информацию пикселя, отличающийся тем, что содержит стадии
a) определения величин приоритета для каждого пикселя матрицы посредством заданного пикселя в качестве опорного пикселя (Р0) и вычисления величины различия пикселей на основе соответствующей моментальной величины пикселя опорного пикселя (Р0) относительно моментальных величин заранее заданной группы смежных пикселей (Р1-Р4);
b) объединения использованных для вычисления величины приоритета пикселей в одну группу пикселей (Р0-Р4);
c) сортировки групп пикселей на основе величины их приоритета соответствующего опорного пикселя (Р0) и занесения в матрицу приоритетов и
d) сохранения и/или передачи групп пикселей в соответствии с их приоритетом в матрице приоритетов,
при этом стадии а)-d) постоянно повторяют, причем величины приоритета групп пикселей постоянно определяют вновь и матрица приоритетов в каждый момент времени содержит рассортированные по текущим приоритетам группы пикселей и предпочтительно сначала сохраняются и передаются те группы пикселей, которые имеют наивысший приоритет и до сих пор еще не передавались.
2. Способ по п.1, отличающийся тем, что величину различия пикселей определяют из разности величины рассматриваемого пикселя и величины каждого из рассматриваемых смежных ему пикселей группы пикселей.
3. Способ по п.1 или 2, отличающийся тем, что сначала сохраняют и/или передают характеристики видеоизображения, такие как ширина изображения в пикселях, высота изображения в пикселях и форма применяемой группы пикселей.
4. Способ по любому из пп.1-3, отличающийся тем, что для каждой группы пикселей сохраняют или передают позицию опорного пикселя (Р0), его величину, а также величину остальных пикселей (Р1-Р4) группы пикселей.
5. Способ по любому из пп.1-4, отличающийся тем, что группам пикселей определенных зон изображения придают повышенный приоритет.
6. Способ по любому из пп.1-5, отличающийся тем, что выполняют постоянное определение и выдачу рассортированных по приоритетам групп пикселей уже с помощью применяемой системы съемки изображения, такой как, например, сканер, камера с зарядовой связью.
7. Способ по любому из пп.1-6, отличающийся тем, что можно применять карты захвата кадра (соответственно, решения программного обеспечения) для преобразования имеющегося видеоматериала самых различных форматов (например, AVI, MPEG-1, MPEG-2, MPEG-4, ...).
8. Способ реконструкции видеоданных, которые были получены с помощью способа по пп.1-7, отличающийся тем, что группы пикселей, сохраняемые и/или передаваемые согласно способу по пп.1-7, считываются и представляются в виде матрицы изображения, при этом еще не переданные пиксели вычисляют из уже переданных пикселей.
9. Способ по п.8, отличающийся тем, что содержит стадии
а) генерирования пустой матрицы изображения из считанных характеристик видеоизображения;
b) последовательного считывания сохраненных, соответственно, переданных групп пикселей и ввод в матрицу изображения;
c) образования треугольников за счет соединения соответствующих трех считанных и непосредственно смежных групп пикселей по меньшей мере одной линией;
d) заполнения образующих поверхность треугольников пикселей с помощью вычисленного из образующих треугольник групп пикселей значения изменения цвета и/или яркости и
e) повторения стадий b)-е).
10. Способ по п.9 или 10, отличающийся тем, что треугольники можно масштабировать по их величине и согласовывать с различными разрешениями изображения.
11. Способ по любому из пп.8-10, отличающийся тем, что создается по меньшей мере одна дополнительная матрица по величине изображения матрицы, которая содержит на выбор дополнительные данные о соответствующих значениях пикселей матрицы изображения:
о времени, к которому в последний раз была вычислена, соответственно передана соответствующая величина пикселя изображения матрицы;
основе вычисления, которая описывает, какой переданный пиксель использовался для вычисления соответствующей величины пикселя изображения матрицы;
вероятности или точности, была ли соответствующая величина пикселя изображения матрицы передана или вычислена или каково различие групп пикселей, из которых была вычислена новая величина пикселя;
отклонении соответствующих уже вычисленных величин пикселей изображения матрицы от переданных затем величин пикселей.
