进驻物联网终端 人工智能应用可能性无限
2017-06-20
人工智能终端应用的可能性无限,举凡智能型手机、汽车、照明等,都有机会成为所谓的边缘运算装置。但在过去,运算处理器是在数据中心有较为明显的需求。目前边缘运算此一产业走向的大逆转,已可从各芯片供货商,如GPU、CPU等,以及硅智财(IP)授权商纷纷针对人工智能展开布局,推出各自处理器缩小化的解决方案,明显可见一斑。
随着人工智能的发展,有越来越多应用产品开始在终端上进行实时运算,也就是所谓的边缘运算。不过,目前的处理器核心对许多终端装置来说,功耗仍嫌偏高。
AIoT浪潮兴起 小型处理器核心满足边缘运算需求
索思未来(Socionext)战略销售组销售部销售项目总监张育豪(图1)表示,目前市场上主流的CPU或GPU核心规模很大,虽然运算效能很强,但功耗也高,而且不易针对应用进行客制化设计。 有鉴于此,Socionext采取用小型核心堆栈的设计架构,其好处在于从云到端都可以采用同样的处理器核心,且也较容易针对个别应用进行客制化,例如将CPU核心跟图像处理核心(VPU)整合在单芯片上。
图1 Socionext战略销售组销售部销售项目总监张育豪表示,VPU在图像处理的功耗/性能比,远胜过CPU跟GPU。
张育豪观察,目前的人工智能应用大多与影像相关,但不管是CPU或GPU,在进行影像运算时,功耗/性能比都不尽理想。这是因为CPU跟GPU原本就不是为了处理影像而设计的芯片。CPU的强项在于进行数据运算,而GPU则适合用来进行3D绘图处理。 因此,用CPU或GPU来进行影像分析,其实效率不是太好。相较之下,专门为处理影像而设计的VPU,在图像处理的功耗/性能比方面,是远胜过CPU跟GPU的。
举例来说,用CPU来对4K影像进行处理跟分析,功耗预算大概是230瓦左右;若用GPU来进行,功耗更可达到400?500瓦。 但如果是用Socionext的解决方案,一颗核心的功耗只有5瓦左右,就算串联多颗核心,也会比CPU或GPU来得省电许多。因此,张育豪认为,在人工智能进驻各类终端装置的趋势下,如果是与影像分析有关的人工智能应用,VPU将有非常大的发展潜力。 Socionext本身拥有业界领先的VPU技术,更是目前市场上唯一已经有8K图像处理芯片的芯片业者。
不管是针对大规模数据中心,或是在各种终端装置上直接进行边缘运算,功耗都是非常关键的考虑。功耗越高,则系统的散热设计也越昂贵,不仅会增加终端装置的生产制造成本,也会增加系统拥有者的总体持有成本(TCO)。
以数据中心为例,冷却系统的电费是相当可观的,如果处理器能更省电,空调冷却的电费也可以随之降低。其他形形色色的终端装置也一样,当芯片的功耗太高时,就得采用更大的散热片,甚至用风扇来散热,这些都会造成产品的生产成本跟总体持有成本增加。
单一丛集配置更弹性 DynamIQ推升大小核效率
针对小型处理器需求的增加,安谋国际(ARM)日前在处理器架构上,也宣布了大幅度调整,也就是DynamIQ技术。 DynamIQ达成了上一代big.LITTLE架构在单一运算丛集上无法实现的大小核弹性配置,对异质运算及人工智能这类应用带来相当明显的效率提升。其将作为未来ARM Cortex-A系列处理器的基础,亦同时代表了业界在多核处理程序设计上的新纪元。
ARM行动通讯暨数字家庭市场资深营销经理林修平(图2)表示,DynamIQ可以说是ARM big. LITTLE的第二代硬件架构,其最主要的特点在于其可以在同一个丛集(Cluster)中同时摆放大小核,且电源(Power)与频率(Clock)都可以单独作管理。在第一代的大小核架构中,一个丛集只能摆放大核或小核,因此在执行转换任务时,必须经过快取(Cache)转换。但在DynamIQ中,由于所有任务都将能在同个丛集中运作,在任务切换上,便会相对迅速很多。
图2 ARM行动通讯暨数字家庭市场资深营销经理林修平表示,DynamIQ技术可在同一个丛集中同时摆放大小核。
林修平指出,由于人工智能所需要的运算量很大,同时需要很多矩阵乘法,透过DynamIQ的架构,将能做1+3、1+7、2+2+4等设计配置。在过去的big. LITTLE架构中,由于一个丛集最多即是4核(大核(Big)4核,小核(LITTLE)4核),是没有办法做到1+7的。DynamIQ所带来的多元变化SoC设计配置,将能帮助应用达到CPU优化,进而让效能与功耗能更往上提升。
DynamIQ的频率可以单独管理,也将带来很大好处。 第一代的大小核,在同一个丛集当中,频率是统一的,但DynamIQ可以让同一丛集中的不同核心,依据运算需求在不同的频率下运作。
此外,林修平也表示,DynamIQ还可连接外部的硬件加速器。 以人工智能来说,不同应用会有不同的软硬件加速需求,例如加速器、DSP、CPU、GPU等,像是在高阶智能型手机上,可能会放置加速器,来使其表现度达到最好、功耗达到最低,不过这也会增加集成电路的成本。 因此,若是比较大众化的产品,则可能会利用系统上现有的CPU、GPU,来满足人工智能的需要。
GPU模型推论效能升级
边缘运算装置AI能力更强大
然而,随着各种边缘运算装置上所内建的人工智能(AI)能力变得更加强大,GPU模型的推论效能也必须随之提升。 辉达(NVIDIA)旗下软件目前已可协助客户做8位与16位的神经网络运算优化,不仅让GPU模型的推论(Inference)更形完善,同时对硬件资源的需求也明显降低,只需要一小块电路板就能支持AI算法。
针对边缘运算日益渐增的需求,NVIDIA近期推出了新款开发板Jetson TX2,将整套人工智能系统缩小在一块电路板之上,为商用无人机、工业机械、智能型摄影设备等领域,提供进阶的导航、影像与语音识别功能。相较前一代产品Jetson TX1,Jetson TX2的效能提升了两倍,耗电量则不到7.5瓦,能源效率提升了两倍多。 这让Jetson TX2可在终端装置上运行更大、更深的神经网络,进而开发出更高智能化的装置,并提升影像分类、导航以及语音识别等作业的精准度与反应速度。
NVIDIA技术营销经理苏家兴(图3)表示,对于训练好的模型,NVIDIA也提供Tense RT软件来协助客户做模型优化、缩小化,其支持整数8位与浮点数16位的运算。 目前的主流是以32位的运算去做训练,该16位运算也就减少了一半,增加了一倍的效能,8位则增加了四倍的效能,因此在模型推论上能运作的更好。
图3 NVIDIA技术营销经理苏家兴表示,以往在多GPU运算时,受限于PCIe的带宽问题,HGX-1搭载了NVIDIA的8张GP 100的GPU,因此当深度学习在做训练时,规模效果是相当好的。
AI算法日新月异 FPGA灵活特性优势显著
即便目前人工智能(AI)算法日新月异,对嵌入式处理器的灵活性带来许多挑战,这却也让以灵活弹性著称的现场可编程门阵列(FPGA)组件有了很大的发挥空间。
赛灵思ISM营销资深技术经理罗霖(图4)表示,由于人工智能目前还处于发展阶段,算法日新月异,目前还没有一个算法可以固定下来,这为特殊应用集成电路(ASIC)的设计带来很大挑战,因客户往往需要的是十分灵活的架构。
图4 赛灵思ISM营销资深技术经理罗霖表示,在赛灵思旗下的芯片产品中,有许多并行运算资源,很适合用于计算量、吞吐量大的卷积运算。
有鉴于此,赛灵思推出reVISION堆栈技术,其具备了可重组以及所有形式链接的特性,让开发者能充分运用堆栈技术,快速研发与部署升级方案,这样的特性对于开发未来需求的智能视觉系统是至关重要的的。 不仅如此,该技术也使开发者在结合机器学习、计算机视觉、传感器融合与连接的应用时,能够获得显著优势。 举例而言,相较于其他嵌入式GPU与传统SoC,reVISION将机器学习推论的每秒每瓦影像效能,提升了6倍、计算机视觉每秒每瓦每帧处理速度提升了42倍,而延迟却只有五分之一。
罗霖分析,相较于同等级GPU技术,FPGA在低延迟(Low Latency)的部分,本身就与传统的架构不同,传统架构是将收集到的数据送到DDR内存中进行缓存,处理器要再从DDR中取出数据进行运算,运算完成后再送回DDR。 但FPGA则是采用像素流(Stream)的方式,直接可以到模拟进行运算,运算完成后,输出结果即可,由于省去了存取DDR的时间,因此可以延迟可以降到非常低。
从算法的层面来看,人工智能含有许多智能决策的部分,因此需要有很强的平行运算能力。 这些算法进而对处理器结构产生了不同的需求,像是在神经网络中,卷积运算强调的是平行运算,适合在FPGA上运行,但在传感器融合的部分,则比较适合在CPU上运行,因其必须将硬件进行分割,再将不同的算法,放到处理器中。
罗霖指出,在脱机的神经网络训练部分,GPU的确是比较有优势的,由于其要求的浮点运算性能特别高,因此不少深度学习都是采用GPU,而赛灵思的立场是不会以FPGA去进攻这块市场,不过若是以在线的任务来看,FPGA还是很有优势的。 目前边缘运算对嵌入式处理器的要求除了传感器的接口要够多,组件的I/O型态也十分多变,可能是高速率、中速率或低速率,这些处理器都要能支持,且在线处理的能力也相当关键。
苏家兴则表示,无论是软件还是硬件公司,都须要对训练好的深度学习模型进行优化,除了边缘设备会采用缩小化的模型,在服务器与数据中心端,也会有某些情境需要采用这些优化过的模型去做推论。 举例而言,Facebook、百度在做语音识别的推论时,若能透过优化的模型让运作更快,势必能让消耗的功耗越少。
不过,并不是所有的应用都适合做前端边缘运算。 以AlphaGo来看,其是以32台服务器在做运算,因AlphaGo运算量非常大,所以就不太可能进行边缘运算,因1台服务器与32台服务器运算的精准度,绝对是有差异的。 若以语音识别来看,即便可以同时采用在线与脱机的方式进行,但精准度也势必会有落差。
苏家兴指出,应用开发商须尽快分辨出哪些运算任务适合采用边缘运算,哪些部分还是得留在服务器端执行。 举例来说,当无人机飞到有些没有网络的地方,便必须运用边缘运算,设计出可承载范围内的推论。 NVIDIA相信,未来数据中心与边缘运算将会并存,但在瞄准的应用上必定会有所不同。
GPU模型推论效能升级
边缘运算装置AI能力更强大
然而,随着各种边缘运算装置上所内建的人工智能(AI)能力变得更加强大,GPU模型的推论效能也必须随之提升。 辉达(NVIDIA)旗下软件目前已可协助客户做8位与16位的神经网络运算优化,不仅让GPU模型的推论(Inference)更形完善,同时对硬件资源的需求也明显降低,只需要一小块电路板就能支持AI算法。
针对边缘运算日益渐增的需求,NVIDIA近期推出了新款开发板Jetson TX2,将整套人工智能系统缩小在一块电路板之上,为商用无人机、工业机械、智能型摄影设备等领域,提供进阶的导航、影像与语音识别功能。相较前一代产品Jetson TX1,Jetson TX2的效能提升了两倍,耗电量则不到7.5瓦,能源效率提升了两倍多。 这让Jetson TX2可在终端装置上运行更大、更深的神经网络,进而开发出更高智能化的装置,并提升影像分类、导航以及语音识别等作业的精准度与反应速度。
NVIDIA技术营销经理苏家兴(图3)表示,对于训练好的模型,NVIDIA也提供Tense RT软件来协助客户做模型优化、缩小化,其支持整数8位与浮点数16位的运算。 目前的主流是以32位的运算去做训练,该16位运算也就减少了一半,增加了一倍的效能,8位则增加了四倍的效能,因此在模型推论上能运作的更好。
图3 NVIDIA技术营销经理苏家兴表示,以往在多GPU运算时,受限于PCIe的带宽问题,HGX-1搭载了NVIDIA的8张GP 100的GPU,因此当深度学习在做训练时,规模效果是相当好的。
AI算法日新月异 FPGA灵活特性优势显著
即便目前人工智能(AI)算法日新月异,对嵌入式处理器的灵活性带来许多挑战,这却也让以灵活弹性著称的现场可编程门阵列(FPGA)组件有了很大的发挥空间。
赛灵思ISM营销资深技术经理罗霖(图4)表示,由于人工智能目前还处于发展阶段,算法日新月异,目前还没有一个算法可以固定下来,这为特殊应用集成电路(ASIC)的设计带来很大挑战,因客户往往需要的是十分灵活的架构。
图4 赛灵思ISM营销资深技术经理罗霖表示,在赛灵思旗下的芯片产品中,有许多并行运算资源,很适合用于计算量、吞吐量大的卷积运算。
有鉴于此,赛灵思推出reVISION堆栈技术,其具备了可重组以及所有形式链接的特性,让开发者能充分运用堆栈技术,快速研发与部署升级方案,这样的特性对于开发未来需求的智能视觉系统是至关重要的的。 不仅如此,该技术也使开发者在结合机器学习、计算机视觉、传感器融合与连接的应用时,能够获得显著优势。 举例而言,相较于其他嵌入式GPU与传统SoC,reVISION将机器学习推论的每秒每瓦影像效能,提升了6倍、计算机视觉每秒每瓦每帧处理速度提升了42倍,而延迟却只有五分之一。
罗霖分析,相较于同等级GPU技术,FPGA在低延迟(Low Latency)的部分,本身就与传统的架构不同,传统架构是将收集到的数据送到DDR内存中进行缓存,处理器要再从DDR中取出数据进行运算,运算完成后再送回DDR。 但FPGA则是采用像素流(Stream)的方式,直接可以到模拟进行运算,运算完成后,输出结果即可,由于省去了存取DDR的时间,因此可以延迟可以降到非常低。
从算法的层面来看,人工智能含有许多智能决策的部分,因此需要有很强的平行运算能力。 这些算法进而对处理器结构产生了不同的需求,像是在神经网络中,卷积运算强调的是平行运算,适合在FPGA上运行,但在传感器融合的部分,则比较适合在CPU上运行,因其必须将硬件进行分割,再将不同的算法,放到处理器中。
罗霖指出,在脱机的神经网络训练部分,GPU的确是比较有优势的,由于其要求的浮点运算性能特别高,因此不少深度学习都是采用GPU,而赛灵思的立场是不会以FPGA去进攻这块市场,不过若是以在线的任务来看,FPGA还是很有优势的。 目前边缘运算对嵌入式处理器的要求除了传感器的接口要够多,组件的I/O型态也十分多变,可能是高速率、中速率或低速率,这些处理器都要能支持,且在线处理的能力也相当关键。
苏家兴则表示,无论是软件还是硬件公司,都须要对训练好的深度学习模型进行优化,除了边缘设备会采用缩小化的模型,在服务器与数据中心端,也会有某些情境需要采用这些优化过的模型去做推论。 举例而言,Facebook、百度在做语音识别的推论时,若能透过优化的模型让运作更快,势必能让消耗的功耗越少。
不过,并不是所有的应用都适合做前端边缘运算。 以AlphaGo来看,其是以32台服务器在做运算,因AlphaGo运算量非常大,所以就不太可能进行边缘运算,因1台服务器与32台服务器运算的精准度,绝对是有差异的。 若以语音识别来看,即便可以同时采用在线与脱机的方式进行,但精准度也势必会有落差。
苏家兴指出,应用开发商须尽快分辨出哪些运算任务适合采用边缘运算,哪些部分还是得留在服务器端执行。 举例来说,当无人机飞到有些没有网络的地方,便必须运用边缘运算,设计出可承载范围内的推论。 NVIDIA相信,未来数据中心与边缘运算将会并存,但在瞄准的应用上必定会有所不同。