《电子技术应用》
您所在的位置:首页 > 显示光电 > 设计应用 > 基于调色板模式的屏幕视频帧内编码快速算法
基于调色板模式的屏幕视频帧内编码快速算法
2017年微型机与应用第2期
王菲
同济大学 电子与信息工程学院,上海 201804
摘要: 基于HEVC的屏幕视频编码根据屏幕视频的特征,引入了调色板模式、基于Hash的块匹配算法等新技术。这些新技术虽然提升了编码的质量,但同时增加了编码器的复杂度。为降低屏幕视频编码器的复杂度,提出了一种基于调色板模式的屏幕视频帧内编码快速算法。该算法结合了屏幕视频的特征和帧内编码模式的空间相关性,有效地减少了帧内编码单元的模式搜索范围。该算法可以在保证视频编码质量的前提下,有效降低编码复杂度,减少编码时间。在屏幕内容编码的标准测试平台SCM5.4的实验结果显示,本算法可以降低21%的编码时间,同时只引起0.93%的BDRate的上升。
Abstract:
Key words :

  王菲

  (同济大学 电子与信息工程学院,上海 201804)

       摘要:基于HEVC的屏幕视频编码根据屏幕视频的特征,引入了调色板模式、基于Hash的块匹配算法等新技术。这些新技术虽然提升了编码的质量,但同时增加了编码器的复杂度。为降低屏幕视频编码器的复杂度,提出了一种基于调色板模式的屏幕视频帧内编码快速算法。该算法结合了屏幕视频的特征和帧内编码模式的空间相关性,有效地减少了帧内编码单元的模式搜索范围。该算法可以在保证视频编码质量的前提下,有效降低编码复杂度,减少编码时间。在屏幕内容编码的标准测试平台SCM5.4的实验结果显示,本算法可以降低21%的编码时间,同时只引起0.93%的BDRate的上升。

  关键词:屏幕视频编码;调色板模式;帧内编码

  中图分类号:TP37文献标识码:ADOI: 10.19358/j.issn.1674-7720.2017.02.012

  引用格式:王菲.基于调色板模式的屏幕视频帧内编码快速算法[J].微型机与应用,2017,36(2):34-36

0引言

  新一代视频压缩编码标准——高效视频编码技术(High Efficiency Video Coding,HEVC),它将自然图像视频压缩效率相对于H.264/AVC提升了数倍。近年来,随着视频会议、远程桌面共享等应用越来越广泛,人们对带有文字图表的图像等屏幕视频的需求量越来越大,传统的视频编码技术如HEVC、H.264/AVC等对自然图像视频处理固然有效,但是由于屏幕视频图像不同于自然视频图像的特点,如局部块颜色的数量有限、边缘锋利、色调不连续、没有可捕获的噪声等,如果使用传统的自然图像编码技术,极有可能降低屏幕视频编码效率。

  基于HEVC视频压缩编码标准的屏幕视频编码标准(Screen Content Coding,SCC)仍在完善之中,但是SCC依旧沿用了HEVC的框架,即HEVC所采用的四叉树结构的编码单元(Coding Unit,CU)划分方式,并对每种尺寸的CU、预测单元(Prediction Unit,PU)或变换单元(Transform Unit,TU)通过计算率失真代价(Rate Distortion Cost,RD_Cost)得出最优尺寸。鉴于屏幕视频的特性,为了提高编码效率,SCC在HEVC原有技术的基础上添加了调色板模式(Palette Mode)、帧内块复制(Intra Block Copy,IntraBC)、自适应颜色变换(Adaptive Colour Transform,ACT)、基于Hash的块匹配技术、自适应运动矢量分辨率决定(Adaptive Motion Resolution Decision,AMRD)等技术[1]。

  目前研究人员已经对SCC帧内编码的复杂度进行了优化,并取得了良好的效果,如文献[2]用平均像素代价来提前决定SCC帧内编码CU的尺寸。

  本文主要利用SCC新引入的Palette模式以及帧内编码单元之间的相关性,在几乎不影响屏幕视频编码质量的情况下,降低编码器复杂度。

1Palette模式简介

  SCC在帧内编码模式中引入了一种新的预测模式,即调色板模式。与传统的帧内和帧间预测所采用的编码单元之间去除冗余的方法不同的是,由于屏幕视频中存在着大量的文字区域,会给编码单元内部带来重复像素的冗余,Palette模式的目标就是处理这种重复像素的冗余。在Palette编码模式中,首先要表示出一个可以将像素值映射到表索引(也称为调色板索引)的查找表,即为调色板。然后根据游长熵编码方式对一个编码单元的索引进行编码。调色板编码是一个非常简单的工具,它跳过了传统变换/反变换模块,并提高了译码器的吞吐量,结果显示,无论对有损或者无损编码,Palette模式都会显著提高屏幕内容视频编码的效率[3]。

2基于调色板模式的帧内快速选择算法的分析

  图1所示为SCM5.4标准所对应帧内编码的流程图,具体的流程为:当CU的深度为0时,检测Intra、IntraBCMerge模式;当CU的深度为1时,检测IntraBC、Intra、IntraBCMerge、Palette模式;当CU深度为2或3时,检测IntraBC、Intra、IntraBCMerge、FastIntraBC、Palette模式。

001.jpg

  通过分析可以看到,当CU深度为0时,只需要执行Intra和IntraBCMerge两种模式,编码器的复杂度相对较低;当CU深度大于0时,编码器的复杂度显著提升,Palette模式是SCC在HEVC的框架上引入的新技术。为了研究加速的可能性,本文统计了在SCM5.4平台下,量化参数(Quanlitization Parameter,QP)选取为22、27、32、37,ChineseEditing(1080p)、sc_map(720p)这两个视频序列在帧内(All Intra,AI)配置下,当CU的深度为1,2,3,相邻块(左侧CU和上方CU)的模式为Palette的情况下,当前CU采用的模式为Palette的比例,具体结果如表1所示。其中相邻块的关系如图2所示。

004.jpg

002.jpg

  统计结果显示,当CU的深度为1和2时,在当前CU的相邻CU同时采用Palette模式时,当前CU也采用Palette模式的比例约为87%,当CU深度为3时,其比例大幅度下降,故本算法主要针对于深度为1和2的CU进行优化。

3本文提出的种基于调色板模式的帧内快速选择算法

  基于上一节的描述,本文提出了一种基于调色板模式的帧内CU模式快速选择算法。图3所示为本文提出的算法的流程图。

003.jpg

  详细的算法流程描述如下:当CU深度为0时,检测Intra、IntraBCMerge模式;当CU的深度为1,2时,计算公式(1)中的flag,如果flag为1,则只检测Palette模式,如果flag为0,则当CU深度为1时,检测IntraBC、Intra、IntraBCMerge、Palette模式,当CU深度为2时,检测IntraBC、Intra、IntraBCMerge、FastIntraBC、Palette模式;当CU的深度为3时,检测IntraBC、Intra、IntraBCMerge、FastIntraBC、Palette模式。

  I9M~`}RDB4R0FW~RX[5`TEW.png

4实验结果

  为了验证改进后的算法的有效性,本文将本算法与SCC标准算法在SCM5.4的测试平台下进行了比较。仿真测试的计算机环境配置是Intel Core i73770 processor 3.40 GHz clock speed和8 GB RAM。SCM5.4的测试配置为AI,QP选取为22、27、32、37。测试的视频种类是带有文字和图形的运动视频(Text and Graphics with Motion,TGM),它是屏幕视频的一种。测试视频的分辨率是1 920×1 080和1 280×720。测试视频选取YUV444、RGB444两种。最大编码单元尺寸是64×64,最大的划分深度是4,变换单元的最大深度是3。

  表2是改进后的算法与SCM5.4标准在AI配置下的实验结果。其中ΔT的定义如公式(2)所示,BDRate的定义参照文献[4]。

  @G2[O789LN1Y3]75(4{1PHA.png

  式中,ΔT代表时间的节省百分比,Toriginal代表SCM5.4标准流程在测试平台下的时间,Tproposed代表改进的算法在测试平台下的时间。从实验结果可以看到,该算法对分辨率为1080p的视频较720p的视频能够达到更好的效果。在AI的配置下,对于YUV444的视频,编码器的平均加速时间提升了20.59%,BDRate升高了0.93%;对于RGB444的视频,编码器的平均加速时间提升了20.26%,BDRate升高了0.64%。通过实验结果可以看出,该算法可以在加速编码器的同时,保证视频的编码质量。

005.jpg

5结论

  本文提出了一种基于调色板模式的帧内快速算法,它可以有效地降低屏幕视频编码器的复杂度。首先分析屏幕视频编码不同于传统的自然图像编码所采用的新技术;然后通过分析屏幕视频的特点以及帧内编码模式的空间相关性确定优化方案;最后通过实验验证了算法的有效性。

参考文献

  [1] JCTVCU1014, Screen content coding test model 5[S]. Warsaw, Poland: JCTVC of ITUT SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 2015.

  [2] SAURTY K, CATHERINE P C, SOYJAUDAH K M. Early CU size determination in HEVC intra prediction using Average Pixel Cost[C]. 2014 Fourth International Conference on. Digital Information and Communication Technology and it’s Applications (DICTAP), IEEE, 2014: 247252.

  [3] Guo Liwei, Pu Wei, Zou Feng, et al. Color palette for screen content coding[C]. 2014 IEEE International Conference on Image Processing (ICIP), IEEE, 2014:55565560.

  [4] BJNTEGAARD B G. Improvements of the BDPSNR model[S]. ITUT SG16/Q6 Input Document VCEGAI11, 2010.


此内容为AET网站原创,未经授权禁止转载。