《电子技术应用》
您所在的位置:首页 > 其他 > 业界动态 > 存内计算正式进入主流

存内计算正式进入主流

2021-04-13
来源: 半导体行业观察

  存内计算是一个由来已久的概念,其主要目的是为了解决内存墙问题。这里首先谈谈什么是内存墙。今天最常见的计算机架构师冯诺依曼架构,而在冯诺伊曼架构中,计算/处理单元与内存是两个完全分离的单元:计算/处理单元根据指令从内存中读取数据,在计算/处理单元中完成计算/处理,并存回内存。

  3.png

  冯诺伊曼架构虽然经典,但是也有内存墙的问题。在过去几十年中,处理器的运行速度随着摩尔定律高速提升,然而计算机中的主存储器DRAM是基于电容充放电实现的高密度存储方案,其性能(速度)取决于电容充放电速度以及DRAM与处理器之间的接口带宽,总体来看其性能提升速度远远慢于处理器速度,目前DRAM的性能已经成为了整体计算机性能的一个重要瓶颈,即所谓阻碍性能提升的“内存墙”。

 4.png

  除了性能之外,内存对于能效比的限制也成了传统冯诺伊曼体系计算机的一个瓶颈,尤其是对于人工智能(神经网络模型)应用来说。神经网络的特点就是计算量大,而且计算过程中涉及到的数据量也很大,使用传统冯诺伊曼架构会频繁读写内存。目前的DRAM一次读写32bit数据消耗的能量比起32bit数据计算消耗的能量要大两到三个数量级,因此成为了总体计算设备中的能效比瓶颈。

  存内计算就是为了解决内存墙问题而提出的方案。如前所述,冯诺依曼架构的计算机系统把存储器和处理器分割成了两个部分,而处理器频繁访问存储器的开销就形成了内存墙。存内计算的基本思路就是把计算和存储合二为一,从而实现减少处理器访问存储器的频率(因为计算已经在存储器内完成了大部分)。严格来说,存内计算还可以分为两种思路。第一种思路主要偏向于电路革新,其方法是通过电路革新让存储器本身就具有计算能力,例如在存储器数据读出的decoder等地方做改动来实现计算等。这样的改动通常会针对SRAM或者MRAM等存储器,可以做到非常好的能效比提升,但是其计算精度往往较为受限(例如1-2bit),因此能够支持的神经网络类型也比较有限。另一种思路是在存储器内部集成额外的计算单元,这种思路主要针对的是DRAM这样主处理器访问开销很大的存储器,它可以支持较为高精度的计算(例如浮点计算),但是限制在于DRAM工艺往往对于计算逻辑电路不是很友好,如何确保计算单元能集成到DRAM工艺里而且对存储密度影响可控就是一个挑战。

  三星的存内计算技术

  今年早些时候,三星正式公布了其存内处理(Processing In Memory,PIM)技术,可谓是正式标志着存内计算技术进入了主流。

  三星目前PIM的第一个存储器场景是HBM。根据三星的官网的内容,该技术主要针对高性能计算人工智能相关场景,并且可以将整体计算的性能提升两倍,而能量则可以节省70%。

 5.png

  官网上公布的数据背后的技术又是什么样的呢?今年的ISSCC上,三星也发表了一篇针对HBM-PIM的论文《A 20nm 6GB Function-In-Memory DRAM, Based on HBM2 with a 1.2TFLOPS Programmable Computing Unit Using Bank-Level Parallelism, for Machine Learning Applications》,我们可以从中一探该技术的究竟。

  根据该论文,HBM-PIM的存储器设计与传统HBM存储器设计的主要区别在于HBM-PIM中集成了额外的可编程计算单元(如下图),也即我们之前讨论的第二种存内计算的设计思路,把处理器集成到存储器中从而将部分计算负载在存储器中完成,这样就能减少处理器需要访问存储器的频率。

  6.png

  对于其具体的可编程计算单元,三星在论文中显示它是一个以计算为主,且包含一些控制单元的迷你处理器。具体来说,在可编程计算单元中,包含了浮点数计算阵列,流水线解码控制单元以及一个本地寄存器文件单元。其运行方式为,主处理器为可编程计算单元提供一系列需要执行的指令,而可编程计算单元则直接从邻近的DRAM中直接读取相关数据,在浮点数计算阵列中完成计算,并且根据指令进一步把结果存储到寄存器文件中,同时主控制器也可以根据需要把结果从寄存器文件中通过HBM接口读出。在ISSCC的论文中,三星使用20nm DRAM工艺实现了该HBM-PIM存储器,并且实现了1.2TOPS的浮点数算力。

 7.png

  HBM-PIM是三星引入PIM的第一步,三星官方资料暗示在HBM之外,三星还准备将PIM技术应用到桌面/移动端(LPDDR)和显卡(GDDR)存储器上,可见三星对于PIM技术的前景是非常看好。

 8.png

 

本站内容除特别声明的原创文章之外,转载内容只为传递更多信息,并不代表本网站赞同其观点。转载的所有的文章、图片、音/视频文件等资料的版权归版权所有权人所有。本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如涉及作品内容、版权和其它问题,请及时通过电子邮件或电话通知我们,以便迅速采取适当措施,避免给双方造成不必要的经济损失。联系电话:010-82306118;邮箱:aet@chinaaet.com。