《电子技术应用》
您所在的位置:首页 > 嵌入式技术 > AET原创 > AI SoC互联总线遇瓶颈?那就在芯片内打造一个“互联网”吧

AI SoC互联总线遇瓶颈?那就在芯片内打造一个“互联网”吧

2018-06-28
王洁
电子技术应用
关键词: NetSpeedSystems AI SOC OrionAI

人工智能(AI)与5G技术发展逐渐加快,随之带来了更高的数据交换需求,这种对数据交换的需求不仅体现在系统之间的互联,也体现在芯片内部的互联。在Level4、Level5的自动驾驶中是不需要人来进行操控的,人类将身家性命完全交给半导体来判断之前,确保系统信号回路传输及时、稳定是首先需要解决的问题。而人工智能芯片运算单元丰富,传统总线架构已经成为系统性能的主要瓶颈,芯片内部的互连需要寻求一种新的方式。

“传统总线架构只适合简单架构,下一代芯片,特别是AI芯片,单芯片集成内核数量多,需要互联的模块也更多,我们考虑在芯片内部布一个网,类似互联网那样,替代总线结构,把所有数据用桥接模块分成数据包,用互联网的方法分发出去。” NetSpeed Systems大中华区销售总监黄啓弘将形象地介绍了NetSpeed SoC芯片内部互连解决方案Orion AI。

黄啓弘.jpg

NetSpeed Systems大中华区销售总监黄啓弘

AI的主要挑战:(1)人工智能工作负载具备独特性,在训练侧和推理侧都需要大型矩阵算法;(2)人工智能架构具备独特性,内核数量多,大量并行结构,点对点通信;(3)带宽要求极高(TB/s),未来对带宽的要求将会更高。NetSpeed推出的Orion AI采用解耦架构,分层堆叠,每层均可扩展或收缩;可编程多播,最早也是目前唯一支持基于广播推送的可配置多播网络IP;服务质量(QoS)非凡,以具备端到端QoS规划的非阻塞路径来控制带宽与延迟。

黄啓弘先生介绍了Orion AI的优势,与传统总线相比,Orion AI方案解除了总线架构带来的数据吞吐量限制,片内带宽可支持到万亿字节每秒(TB/s),接口位宽高达1024位 ,内部结构位宽更高,并可支持高达4K字节的长突发传输;采用先进的低功耗管理技术提升能效;内置人工智能,利用先进人工智能算法,在解决方案空间搜寻最有效的解决方案,可谓是“用人工智能设计人工智能芯片”。

QQ截图20180628175111.jpg

Orion AI由NetSpeed的图灵机器学习引擎提供支持,该引擎使用监督学习来探索和优化SoC设计与架构。Linley Group首席分析师Linley Gwennap表示,这是一种以人工智能为核心的设计方法,“就像有一位随时在线的建筑大师给出设计建议。处理器架构师可以采纳图灵的建议,然后花时间去解决SoC设计中的其他难题。”

NetSpeed的方案能帮助SoC设计公司大幅缩减开发时间。据了解,互连IP成本占整体AI成本的3%-10%左右。NetSpeed的客户通过采用Orion AI,在RTL阶段就可进行互连设计,大幅缩减前端设计与后端设计的试错周期,平均可节约3-4个月时间。据黄启弘介绍,NetSpeed的其中一个客户,特斯拉的自动驾驶芯片从设计到流片只花了大约九个月时间。

除了特斯拉外,NetSpeed目前还有英特尔、亚马逊这些大客户,在国内有地平线机器人、寒武纪、百度等领先的AI公司。

相比其他消费级应用,自动驾驶应用对安全等级有更高的要求,Orion AI通过了ISO 26262标准,可支持ASIL D级别安全要求,采用Orion AI来进行SoC互联设计也更容易达到汽车应用的安全要求。

NetSpeed是一个以技术为本的公司,虽然是个年轻的公司,但成立8年以来,已经申请了130多项专利。NetSpeed除了为大客户提供定制化的IP服务,还提供非加密的互连IP,在授权模式和费用上都可根据中国客户需求进行灵活调整。目前我国AI应用迅速发展,NetSpeed拥有极佳的市场机遇,NetSpeed提供的更方便、可靠的设计建议也使得AI芯片设计工程师拥有了更多的选择。