《电子技术应用》
您所在的位置:首页 > 人工智能 > 业界动态 > 这款AI芯片也许是最理想的?

这款AI芯片也许是最理想的?

2021-01-15
来源:半导体行业观察
关键词: AI芯片

  一款理想的神经网络芯片是什么样的?按照工程师的说法,最重要的是在芯片本身上拥有大量的存储空间。这是因为数据传输(从主内存到处理器芯片)通常消耗最多的能量,并且会产生大部分的系统滞后,即使与AI计算本身相比也是如此。

  有鉴于此,Cerebras Systems通过制造一台几乎完全由一个包含18 GB内存的大型芯片组成的计算机,解决了这些问题(统称为内存墙)。

  但是法国,硅谷和新加坡的研究人员提出了另一种方法。

  微信图片_20210115100617.jpg

  一家称为Illusion的公司使用在硅逻辑之上构建的3D堆栈中使用由电阻性RAM存储器构建的处理器来执行相关操作,因此花费很少的精力或时间来获取数据。

  仅凭其本身,还不够,因为神经网络的规模越来越大,无法容纳在一个芯片中。因此,该方案还需要多个此类混合处理器以及一种算法,该算法既可以智能地对处理器之间的网络进行分割,还可以知道何时在闲置时迅速关闭处理器。

  在测试中,八芯片版本的Illusion的能耗和延迟约为“理想”处理器的3-4%,该处理器在一块芯片上具有所有需要的内存和处理能力。

  该研究团队(其中包括来自法国CEA-Leti研究实验室,Facebook,新加坡南洋理工大学,圣何塞州立大学和斯坦福大学的贡献)受到了神经网络规模不断扩大这一事实的推动。

  负责这项研究的斯坦福大学电气工程和计算机科学教授Subhasish Mitra说:“从某种意义上讲,这种理想的芯片永远无法使用,因为它是一个不断发展的目标。” 他说:“神经网络变得越来越快,其速度超过了摩尔定律。”

  因此,他们设法设计一种系统,使它实际上是由多个混合处理器组成,它也会产生一个带有大量片上存储器的单个处理器的错觉(illusion),因此他们将其命名为为项目名)。这样,Illusin就可以轻松扩展以适应不断增长的神经网络。

  Mishra解释说,这样的系统需要做到三件事:

  首先是芯片上的大量内存,可以快速访问而几乎不消耗能量。这就是集成3D的RRAM发挥功效的地方。他们选择了RRAM,“因为它是密集的,3D集成的,并且可以在掉电状态下快速访问,并且因为它在断电时不会丢失数据, ” 斯坦福大学电气工程学教授,该项目的合作者Philip Wong说。

  但是RRAM确实有一个缺点。像Flash存储器一样,它被覆盖过多次后就会损耗。在Flash中,软件会跟踪每个存储单元块发生了多少次覆盖,并试图保持该数量,即使在芯片中的所有单元中也是如此。斯坦福大学理论计算机科学家 Mary Wootters 领导团队为RRAM发明了类似的东西。结果称为Distributed Endurer,这增加了确保写入时的磨损甚至跨越多个芯片的负担。

  即使使用Endurer混合RRAM和处理器芯片,但强大的神经网络(例如当今使用的自然语言处理器)仍然太大,让我们无法将其容纳在一个芯片中。然而使用多个混合芯片意味着在它们之间传递消息,消耗能量并浪费时间。

  Illusion团队的解决方案是其技术的第二部分,其解决方案是以使消息传递最小化的方式来切割神经网络。神经网络本质上是一组计算发生的节点以及连接它们的边。每个网络将具有某些节点或节点的整个层,它们具有大量的连接。

  但是网络中也将存在阻塞点,即在节点之间必须传递少量消息的地方。在这些阻塞点上划分大型神经网络,并将每个部分映射到单独的芯片上,可确保从一个芯片到另一个芯片的数据传输量最少。Mitra说,Illusion映射算法“自动识别切割神经网络的理想位置,以最小化这些消息。”

  但是像这样切割的东西有其自身的后果。

  不可避免地,一种芯片会先于另一种芯片来完成其业务,这会拖延系统并浪费功耗。其他尝试运行超大型神经网络的多芯片系统,则以使所有芯片持续忙碌的方式来划分网络,但这是以在它们之间传输更多数据为代价的。

  在第三项创新中,Illusion团队决定设计混合处理器及其控制算法,以便可以快速关闭和打开芯片。因此,当芯片等待工作时,它不会消耗任何功耗。

  Mishra说,CEA-Leti的3D RRAM技术是制造3D SoC的关键,该SoC可以在几个时钟周期内完全关闭并重新启动而不会丢失数据。

  该团队构建了八芯片版本的Illusion,并在三个深度神经网络上进行了测试。这些网络远不及当前正在计算机系统运行的网络的规模,因为每个Illusion原型仅为神经网络数据保留了4 KB的RRAM。他们测试过的“理想芯片”实际上是一个模仿了完整神经网络执行的illusion 芯片。

  8片幻觉系统能够在理想芯片能耗的3.5%和2.5%的执行时间内运行神经网络。Mitra指出,该系统可以很好地扩展。有4 GB RRAM的64芯片illusion 方案的仿真也接近理想。

  “我们已经展开了新的更强大的原型设计”,斯坦福大学的研究生Robert Radway说。他们也将其发表在本周的自然电子上。与原型相比,下一代芯片将具有更大数量级的内存和计算能力。虽然第一代经过了推理的测试,但下一代将用于训练它们,这是一项艰巨的任务。

  “总的来说,我们认为illusion 对未来技术具有深远的影响,” Radway说。“它为技术创新开辟了广阔的设计空间,并为未来的系统创造了新的扩展途径。”



本站内容除特别声明的原创文章之外,转载内容只为传递更多信息,并不代表本网站赞同其观点。转载的所有的文章、图片、音/视频文件等资料的版权归版权所有权人所有。本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如涉及作品内容、版权和其它问题,请及时通过电子邮件或电话通知我们,以便迅速采取适当措施,避免给双方造成不必要的经济损失。联系电话:010-82306116;邮箱:aet@chinaaet.com。