《电子技术应用》
您所在的位置:首页 > 通信与网络 > 设计应用 > 基于权值交互思想的卷积神经网络量化算法
基于权值交互思想的卷积神经网络量化算法
2020年电子技术应用第10期
肖国麟,杨春玲,陈 宇
哈尔滨工业大学 电气工程及自动化学院,黑龙江 哈尔滨150001
摘要: 传统的卷积神经网络量化算法广泛使用对称均匀量化操作对模型权值进行量化,没有考虑到相邻权值量化之间的相互关系,即上一个权值的量化操作产生的量化噪声可以通过调整之后权值的量化方向加以弥补。针对上述问题,提出了一种基于权值交互思想的三值卷积神经网络量化算法,达到了16倍的模型压缩比,以ImageNet作为数据集,量化后的AlexNet和ResNet-18网络上模型预测准确率只下降了不到3%。该方法达到了较高的模型压缩比,具有较高的精度,可以用于将卷积神经网络移植到计算资源有限的移动端平台上。
中图分类号: TN911.73;TP391
文献标识码: A
DOI:10.16157/j.issn.0258-7998.200263
中文引用格式: 肖国麟,杨春玲,陈宇. 基于权值交互思想的卷积神经网络量化算法[J].电子技术应用,2020,46(10):39-41.
英文引用格式: Xiao Guolin,Yang Chunling,Chen Yu. Convolutional neural network quantization algorithm based on weight interaction ideas[J]. Application of Electronic Technique,2020,46(10):39-41.
Convolutional neural network quantization algorithm based on weight interaction ideas
Xiao Guolin,Yang Chunling,Chen Yu
School of Electrical Engineering and Automation,Harbin Institute of Technology,Harbin 150001,China
Abstract: Traditional convolutional neural network quantization algorithms widely use symmetric uniform quantization operations to quantize models′ weights, without taking into account the correlation between the quantization of adjacent weights, that is, the quantization noise generated by the quantization operation of the previous weight can be made up after adjusting the quantitative direction of the next weights. Aiming at the above problems, a ternary convolutional neural network quantization algorithm based on the idea of weight interaction is proposed, the model compression ratio is 16 times. On the ImageNet dataset, the model prediction accuracy of ternarized AlexNet and ResNet-18 network only decrease less than 3%. This method achieves a high model compression ratio, has higher accuracy, and can be used to transplant convolutional neural networks to mobile platforms with limited computing resources.
Key words : ternary quantization;convolutional neural network;weight interaction;model compression

0 引言

    随着深度学习的飞速发展,卷积神经网络(CNN)被越来越多地应用于各个领域,如图像识别[1-2]和目标检测[3-4]。然而,随着应用要求的提高,CNN的结构越来越深,导致其对于计算力和内存的需求大大提高。同时由于移动端设备的飞速发展,设备小型化的需求和市场不断扩大,将CNN应用到小型移动端设备的需求也随之增加。然而,受限于电源、内存及功耗,移动端平台无法满足高性能CNN对于硬件性能、功耗及内存的要求,因此优化CNN模型从而降低其对于计算资源的要求非常必要[5]

    CNN权值量化是目前一种主流的CNN模型优化方法,而三值量化其中一种能够将权值由32位量化到2位(0,±α)从而达到16倍压缩比的低位量化方法。自从2016年三值化网络被LI F等人提出以来[6],其方法不断改进,性能不断提高。其中MELLEMPUDI N等人于2017年提出的细粒度三值化网络[7],将激活函数量化到8或4位,将权重量化至2位,将每N个权值分为一个组,分组量化,两组之间相互独立,其中N=2,4,8,16,…。该方法主要通过尝试不同的分组和暴力搜索解空间以及二次训练的方式得到最优解,但相比原精度的32位卷积网络仍有较大性能差距。目前的三值量化网络性能不佳的其中一个问题在于都使用对称均匀量化操作,只考虑了单个权值的量化,忽视了相邻权值量化之间的相互关系,量化噪音直接相互累加,导致每一层网络的噪声积累过高,使得量化模型的预测准确率有极大的下降。

    针对此问题,本文提出一种新的CNN模型三值量化算法,基于权值交互思想,在同一卷积核内,将先前量化产生的积累噪声作为一个负变量加入到下一个权值的量化操作中,使得对下一个权值朝着能减小积累噪声的方向进行量化。然后,通过层级贪婪搜索算法逐层搜索局部最优解,得到效果近似最优解的优化解,降低搜索算法复杂度,极大减少搜索所需时间。实验证明,相比于其他使用对称均匀量化操作的算法,本文的算法极大地减小了由于量化操作导致的模型预测准确率的损失。




本文详细内容请下载:http://www.chinaaet.com/resource/share/2000003017




作者信息:

肖国麟,杨春玲,陈  宇

(哈尔滨工业大学 电气工程及自动化学院,黑龙江 哈尔滨150001)

此内容为AET网站原创,未经授权禁止转载。