《电子技术应用》
您所在的位置:首页 > 模拟设计 > 业界动态 > 清华大学教授张悠慧团队首次提出“类脑计算完备性”

清华大学教授张悠慧团队首次提出“类脑计算完备性”

2020-11-14
来源:木木西里科技

    1965年,英特尔创始人Gordon Moore首次提出摩尔定律,并于1975年进行修正。根据摩尔定律,技术进步将使集成电路(微芯片)的集成度大约每18-24个月翻一番。摩尔定律问世时,集成电路问世才6年,Moore实验室在一个芯片上还只能集成50个晶体管。50年后,最先进的芯片可以集成10几亿个晶体管。但是,我们现在面临一个问题:摩尔定律,还能延续多少年?

    是的,在过去50年,传统数字计算机的性能在不断提高。集成电路的技术进步一方面使得硬件变得越来越强大,另一方面也给寻求优化算法性能的系统架构师带来了挑战。

    类脑计算

    下一代高性能、低功耗的计算机系统需要像大脑学习。

    随着设计者从通用的计算机技术转向大脑启发(神经形态)系统,他们也必须从支撑通用机器的既定形式层次结构中走出来。也就是说,抽象框架广泛地定义了软件是如何被数字计算机处理,并转换成在机器硬件上运行的操作的,这种层次结构有助于实现计算机性能的快速增长。

    通用计算机设计的一个重要特点是软硬件去耦合,而这一特点使得新设备(芯片、内存等)能够获得最佳性能。通过设置对硬件的最低要求,将用高级语言编写的软件程序,转换成任何机器所需的精确等效的指令序列变得可行,这一过程称为编译。在这个编译过程中,支持使用代表基本计算操作的指令的计算机被称为图灵完备。因此,软件代码通常只写一次,然后可以在多个图灵完备的处理器架构上编译和执行,以产生等效的结果。

    

r1.jpg

    图1 在计算机硬件上,基于层次结构实现算法

    然而,人们普遍认为,摩尔定律时代即将结束:数字计算机能力的进步速度似乎正在放缓。此外,数字计算非常耗能,促使人们寻找替代方案。

    传统计算机依循冯·诺依曼架构设计,存储与计算功能分离。每进行一次运算,计算机都要在内存和CPU两个区域之间来回调用,大数据处理效率有待提高。除此之外,因为在存储与计算空间之间来回调用,芯片的能耗大部分转化为热量,既不利于设备的性能稳定,又不环保。

    类脑芯片就不一样了,人脑中存储与计算功能是合二为一的。科学家们长期以来一直对大脑的计算能力着迷,大脑不仅具有难以置信的能效,而且由于其神经元和突触的架构,还拥有独特的信息处理性能。类脑芯片可以模拟人脑的复杂处理能力,启发了神经形态计算领域,一个使用大脑神经网络结构作为下一代计算机基础的研究领域。

    神经形态计算的重点通常是脉冲神经网络——由相互连接的人工神经元组成的系统,其中每个神经元在激活水平达到阈值时都会表现出短暂的“脉冲”。与现代深度学习应用中常用的人工神经网络相比,这种系统更类似于生物神经网络。神经形态硬件已经产生了一系列的格式,包括数字和模拟。然而,大多数系统都有共同的设计原则,例如内存和处理器的协同定位。

    开发神经形态硬件应用一个挑战是,目前不存在图灵完备性等形式层次。相反,每个新的芯片架构都需要一个定制的软件工具链,即一组编程工具来定义算法,并通过将它们映射到独特的硬件上来执行它们,这使得很难比较执行相同算法的不同神经形态系统的性能,并且需要研究人员理解算法和硬件的所有方面,以获得潜在的类似大脑的性能。

    厚积薄发

    清华大学施路平团队长期致力于类脑计算领域的研究。2015年,第一代“天机芯”DEMO问世,制程约为110纳米。2017年,第二代“天机芯”芯片制程为28 nm。

    2019年7月31日,施路平团队以Towards Artificial General Intelligence with Hybrid Tianjic Chip Architecture为题,在Nature封面论文报道了第三代天机芯片,通过无人驾驶自行车上的实验演示,实现了机器学习和类脑算法的完美结合,标志着中国在人工智能领域进入了关键时刻。

    

r2.jpg

    时隔一年之后,2020年10月15日,清华大学施路平、张悠慧等人又一次在Nature发表类脑计算的最新研究成果。他们定义了一个新的层次结构,将算法的要求及其在一系列神经形态系统上的实现形式化,从而为结构化的研究方法奠定基础。在该方法中,受大脑启发的计算机的算法和硬件可以分别设计。值得一提的是,在这两个重大研究成果中,施路平教授都是通讯作者,而张悠慧教授都是第一作者之一,并在最新的Nature论文中担任通讯作者之一。

    这一次,清华大学施路平、张悠慧研究团队提出了一个突破性解决方案,他们称之为神经形态完备性。这是对图灵完备性的认可,旨在将算法和硬件开发分离开来。

    作者提出,如果一个类大脑系统能够以规定的精确度执行一组给定的基本操作,它就是神经形态完备的,这是对图灵完备性的一种偏离。在图灵完备性中,一个系统只有在为给定的一组基本运算提供了精确且同等的结果时,才能被定义为完备的。

    神经形态完备框架

    在提出的神经形态完备框架中,基本操作包括两种,称为加权和操作和元素校正线性操作,这使得硬件系统能够支持脉冲和非脉冲人工神经网络。作者展示了他们的大脑启发计算的层次结构如何提供一种机制,将给定的算法转换成适合一系列神经形态完整设备的形式。

    新层次结构的一个关键亮点在于,提出了一个连续完备性——可以接受不同级别的算法性能,这取决于神经形态系统执行基本操作的准确性。这种完备性的连续性意味着,新的层次结构可以使用所有可用的模拟和数字神经形态系统来实现,包括那些为了执行速度或能量效率而牺牲准确性的系统。

    

r3.jpg

    图2 类脑计算机层次结构(左)与现有通用计算机(右)的对比

    完备性的连续还允许算法的在同一硬件上的不同运行。例如,探索如何根据芯片大小来权衡算法精度,以降低功耗。研究人员在三个任务的算法执行中展示了这一方面(“驾驶”无人驾驶自行车、模拟鸟群的运动以及执行称为QR分解的线性代数分析)。每个任务使用三个典型的神经形态完备硬件平台来执行:作者自己的神经形态芯片,通用计算机中使用的图形处理单元,一个基于忆阻器设备的平台,可以加速神经网络的运行。

    这种层次结构具有极大的创新性,主要表现为两点:

    1)能够比较实现相同算法的等效版本的不同硬件平台,以及在相同硬件上实现的不同算法。这两个都是对神经形态架构进行有效基准测试的关键任务。将通用的图灵完备硬件(GPU)包含在他们的验证实验中也是非常有价值的,因为这表明在某些应用中,层次结构可以潜在地用于证明神经形态设备优于主流系统。

    2)有可能将算法和硬件开发分开。如果要获得底层神经形态架构的益处,算法规模和复杂性将需要随着时间的推移而增加。因此,这种分离将有助于研究人员专注于研究问题的特定方面,而不是试图找到完整的端到端解决方案。这可能会导致对问题的更好理解,并为未来更高性能的神经形态系统的设计提供信息。

    结语

    面对即将到来的计算机架构发展黄金十年,类脑计算被认为是最有希望的方案之一。

    清华大学团队所提出的类脑计算系统设计思路,是在现有计算机架构基础上,加入类脑计算芯片、从而引入空间复杂性和时空复杂性。这样既可以保持原有计算机处理结构化信息的的优势,又可以利用类脑计算芯片提升处理非结构化信息的能力。

    团队将坚持计算机科学和神经科学融合的技术路线,并充分利用新型非易失性存储器件(包括忆阻器)的特殊性质,发展适合这些器件的新的计算模型和算法,构建完全新型的智能计算体系。

    

本站内容除特别声明的原创文章之外,转载内容只为传递更多信息,并不代表本网站赞同其观点。转载的所有的文章、图片、音/视频文件等资料的版权归版权所有权人所有。本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如涉及作品内容、版权和其它问题,请及时通过电子邮件或电话通知我们,以便迅速采取适当措施,避免给双方造成不必要的经济损失。联系电话:010-82306118;邮箱:aet@chinaaet.com。