《电子技术应用》
您所在的位置:首页 > 嵌入式技术 > AET原创 > “软硬”兼施 赛灵思双管齐下实现视频加速

“软硬”兼施 赛灵思双管齐下实现视频加速

2019-09-01
王洁
电子技术应用

近两年的社交应用中,短视频、直播类应用出现了爆发式增长,除了年轻人对各类视频、直播app的追捧,线上教育类app也是层出不穷。视频和图像数据急剧增长,随之而来地给数据中心带来了巨大的挑战。服务器、硬件以及基础设施的体量越来越大,导致企业资本开支(CAPEX)不断增加,而视频流量的暴涨也加速了企业运营开支(OPEX)的投入,这成为了如今视频与图像处理领域面临的两大痛点。为此,赛灵思推出了双管齐下的音视频处理战略:一是传统的基于 FPGA的高质量软 IP 解决方案,二是赛灵思最新的基于 Zynq UltraScale+ EV的高密度固化硬 IP 解决方案,为业内带来一场全新的“视频处理加速”。

近日,赛灵思在北京办公室举办了一场视频加速媒体沟通会,赛灵思视频与图像处理高级市场营销经理Sean Gardner向媒体介绍了赛灵思的视频处理加速方案以及最新的基于 Zynq UltraScale+ EV的解决方案,并接受了记者的采访。

新建位图图像.jpg

赛灵思视频与图像处理高级市场营销经理Sean Gardner先生

视频和图像处理面临的挑战

视频直播是一个巨大的市场,也是最贵的一项业务。赛灵思预估,视频直播的市场到2021年将会达到700亿美金。与此同时,越来越多的操作转移到手机上,移动视频增长速度非常快,而在中国增长尤为突出。

赛灵思视频与图像处理高级市场营销经理Sean Gardner先生介绍,视频分为两类,一类是基于文件的,另一类是直播。基于文件的视频由于准备时间比较长,需要的资源会比较少;而直播由于准备时间比较短,需要的资源也就相对比较多。

此外,视频的总量在不断增长,而且清晰度也在不断提高,算法越来越复杂。现在多数视频都采用H.264的方式来处理,未来4K、8K手机或电视清晰程度会高很多,需要更多的带宽。随着5G技术的部署,需要新的算法,如HEVC或者AV1,来控制带宽。

OPEX.jpg

带宽开支(OPEX)

直播公司每年在带宽上花费了大量的投入。YY直播的运营支出费用非常高,原因是需要花很多的成本在带宽和服务器上。Sean Gardner认为,视频压缩可以帮助他们减少这方面的成本。

8020rule.jpg

80/20法则

Sean Gardner介绍了一个非常有名的80/20法则,就是20%的播放造成了平台上80%的流量,而剩下80%的频道播放只占到这个平台上20%的流量。可以看到,不同的播放的平台,基本上流量都是由几个最受欢迎的频道所提供的。

“频道非常受欢迎就会产生很多流量,而它产生的这些流量就会增加公司的OPEX。而平台上有很多不同的频道,这些频道日常的维护增加了公司的CAPEX,所以我们现在要做的是能够使得每一个频道的成本最低,同时在流量当中能够使得每一个比特成本也是最低的。” Sean Gardner指出从OPEX和CAPEX两方面着手解决市场痛点。

传统 FPGA 软IP方案优化OPEX

从OPEX方面考虑,重点是降低每比特成本,实现高质量低比特率。

现在所有视频基本都是在软件中进行处理的,比如英特尔的XEON加速器。问题是,当压缩比较好的时候,速度就会变慢;如果压缩不够,成本就会很高,在压缩效率和处理速度中需要进行权衡。在速度和质量中也有一个权衡。

<a class=

Xilinx比CPU方案相同质量下快20倍

如果压缩的效率是相等的,可以看到赛灵思的产品比传统其他的产品速度快很多。分别与Libvpx、X265、X264比较,赛灵思的产品达到了20倍、12倍和12倍的速度。

速度快是非常重要的,同时压缩的效率也非常重要。

Xilinx比其他方案相同质量下省40%比特.jpg

Xilinx比其他方案相同质量下省40%比特

在视频压缩中,通常峰值性噪比(PSNR)越高,说明压缩越好。可以看到,赛灵思的产品可以达到同水平的PSNR,但比特率降低40%。

公开数据显示,虎牙直播在2018年三季度花了2530万美金来提高直播视频质量。通过使用赛灵思的产品,可以帮助虎牙这样的直播平台在每年省下2100万美金的带宽成本费用。

由于FPGA是可编程的,赛灵思与合作伙伴一起创建了丰富的解决方案,可以支持不同芯片上密度的要求。并且赛灵思已经与开源FFmpeg框架进行了结合,用户不需要成为FPGA的专家,就可以很方便地使用FPGA实现加速。

据介绍,赛灵思与Socionext合作,将新的视频技术运用到公有云和本地数据中心;与V-Nova合作研发新的技术,推动低负责度编码增强新标准落地,可以实现赛灵思在原来的技术和产品性能上进一步提高,使得平台资本开支和运营开支减少25%。

高密度Zynq MPSoC 硬IP优化CAPEX

从CAPEX方面考虑,重点是降低每频道成本,也就是实现高密度。

赛灵思与Aupera合作,在三层高密度的机架上部署了48个赛灵思的ZynqSPSOC,三层高密度的机架可以代替30个服务器,机架当中有384个频道,总耗能仅750瓦。通过这样一个解决方案,不仅仅实现了成本的最优化,同时在密度和能耗上也实现了最优。

Xilinx与Aupera合作产品竞争性能对比.jpg

Xilinx与Aupera合作产品竞争性能对比

与英特尔、英伟达比较,在尺寸、功耗,以及最终产品的成本及每个频道的耗能上,都有非常明显的优势。

一直以来赛灵思不断优化FPGA,追求压缩效率的不断提高。以5%的效率提高来算,也可以为公司省下几百万美金的支出。

在直播、监控、游戏应用中,低延时相当重要。赛灵思的Zynq产品可以实现不同程度的延时,如超低延时、中等延时以及高质量、低比特率。对于企业客户在乎的运营开支和资本开支,只要一套软件就可以实现这两个目标。

目前来看,传统以CPU为主要算力的方案已经无法满足实时的视频处理需求,GPU和FPGA的方案将会在直播等新兴视频应用中大获发展。至于短视频、直播等目前大热的应用会不会随着时代的发展被迅速取代,Sean Gardner认为,长久来看,图像和视频沟通的效率更高,在娱乐、智能零售、增强现实、导航等更多的应用中,视频和图像都会有越来越多的应用,这也是赛灵思决定在视频与图像处理业务扩大投入的重要原因。