《电子技术应用》
您所在的位置:首页 > 嵌入式技术 > 设计应用 > 一种基于遗忘机制的在线深度极限学习机
一种基于遗忘机制的在线深度极限学习机
2018年电子技术应用第7期
刘步中1,2
1.江苏省中小企业电子产品工程技术研发中心,江苏 淮安223003;2.淮安信息职业技术学院,江苏 淮安223003
摘要: 深度学习的发展促进了深度在线学习的发展,在线学习往往有较强的实效性。在在线极限学习机原理和深度极限学习机自动编码器原理的基础上,提出无监督的在线深度极限学习机自动编码器;并将遗忘机制引入在线深度ELM-AE,提出FOS-DELM-AE;用FOS-DELM-AE做无监督的特征学习,FOS-ELM做有监督的目标学习,使OS-ELM具备深层网络结构的同时,具备在线学习的能力。最后通过基于指标RMSE和R-square的实验验证了该算法FOS-ELM的有效性。
中图分类号: TP183
文献标识码: A
DOI:10.16157/j.issn.0258-7998.174335
中文引用格式: 刘步中. 一种基于遗忘机制的在线深度极限学习机[J].电子技术应用,2018,44(7):135-138.
英文引用格式: Liu Buzhong. An online deep extreme learning machine based on forgetting mechanism[J]. Application of Electronic Technique,2018,44(7):135-138.
An online deep extreme learning machine based on forgetting mechanism
Liu Buzhong1,2
1.Engineering Technology Research and Development Center of Electronic Products of Small and Medium Enterprises of Jiangsu Province,Huai′an 223003,China; 2.Huaian Vocational College of Information Technology,Huai′an 223003,China
Abstract: The development of deep learning promotes the development of deep online learning, and online learning tends to have strong effectiveness. Based on the principle of online extreme learning machine and the principle of autoencoder of deep extreme learning machine, an unsupervised online deep extreme learning machine autoencoder is proposed. The forgotten mechanism is introduced into the online deep ELM-AE, proposing the FOS-DELM-AE. With FOS-DELM-AE do unsupervised feature learning,and FOS-ELM do supervised target learning, OS-ELM has deep network structure,and with the ability of online sequential learning. Finally, the effectiveness of FOS-ELM algorithm is verified by experiments based on RMSE and R-square.
Key words : neural networks;feature learning;extreme learning machine;forgotten mechanism;deep autoencoder

0 引言

    HUANG G B等在2006年提出极限学习机(Extreme Learning Machine,ELM)[1]。极限学习机是为单隐层前馈神经网络(Single-hidden Layer Feedforward Neural Networks,SLFN)设计的学习算法,该算法需要人为调整的参数只有隐藏层神经元的个数,比传统基于梯度下降的神经网络训练算法[2-4]收敛速度快,泛化性能好。

    但在实际应用中,数据往往不能一次性获取,当获取到新的数据时,又要把新的数据和旧的数据放到一起来训练网络,会浪费许多时间。在线极限学习机(Online Sequential ELM,OS-ELM)[5]可以将数据逐个或逐块地添加到网络中,当新的数据到来时,并不需要把旧的数据拿出来重新训练。但由于在线极限学习机的浅层网络结构,即使设置很多的隐藏层节点个数,仍然很难有效应对复杂的实际应用。同时,算法虽然能够逐个或逐块地学习数据,在较短的时间内达到较高的精度要求,但该算法对学习的时效性的数据不是太好,即数据在一段时间内是有效的,过一段时间后数据将失效(如天气预测或股票预测等)。

    本文结合在线极限学习机原理和深度极限学习机自动编码器(Deep ELM AutoEncoder,DELM-AE)[6-7]原理,提出无监督的在线深度极限学习机自动编码器(OS-DELM-AE),使ELM-AE具备在线学习的能力;在OS-DELM-AE的基础上进一步引入遗忘机制,提出FOS-DELM-AE(Forgetting Mechanism OSDELM-AE);并用FOS-DELM-AE做无监督的特征学习,FOS-ELM[8]做有监督的目标学习,使OS-ELM具备深层网络结构的同时,能适应很强时效性的应用。

1 深度极限学习机自动编码器原理简介

    相比浅层网络,深层网络能更好地处理高维数据;更接近人脑,对输入数据的特征进行层次化提取;能获得更多有用信息等。文献[6]用极限学习机训练深度自动编码器,每一层看作是一次极限学习机的训练,每层训练结束后将不再调整参数;上一层的输出作为下一层的输入,依次以极限学习机的训练方式训练自动编码器,从而形成深度极限学习机自动编码器。其网络模型如图1所示。

jsj4-t1.gif

    其中,自动编码器是一种无监督的学习方法,最初主要用于高维数据处理,自动编码器通过尽可能复现输入信号,学习到代表输入数据的新的特征。自动编码器由编码器和解码器组成。编码器在网络的训练和部署时使用,而解码器只在训练时使用。通过随机映射输入信号,自动编码器重构输入信号的问题就成了极限学习机问题。

2 FOS-DELM

2.1 OS-DELM-AE

    近年来,深度学习[9-12]成为研究热点,深度学习得到了极大发展,在深度学习发展的同时,在线深度学习的发展也得到了新的支撑[13-15]。本文在OS-ELM原理和深度ELM-AE原理的启发下,提出了OS-DELM-AE,将ELM-AE在线化,每一层OS-ELM-AE训练完成之后不再调整参数,上一层OS-ELM-AE的输出作为下一层OS-ELM-AE的输入,逐层训练OS-DELM-AE,通过OS-DELM-AE,将样本特征分层提取,并具备在线学习的能力。下面是OS-DELM-AE的具体算法步骤。

2.1.1 第1层特征学习

jsj4-gs1.gif

jsj4-gs2.gif

2.1.2 第p层特征学习

jsj4-gs3.gif

2.2 FOS-DELM

    遗忘机制是逐步驱除有错误可能及过时信息数据的有效方法,ZHAO J等[8]在OS-ELM算法中结合了遗忘机制,提出遗忘机制FOS-ELM算法。本文将遗忘机制引入到OS-DELM-AE中,提出了FOS-DELM-AE方法,使OS-DELM-AE能有效驱除错误信息及过时信息数据。以FOS-DELM-AE方法做无监督特征学习,以FOS-ELM做目标学习,提出基于遗忘机制的在线深度极限学习机(FOS-DELM)。

    设以前的数据块为Ωk-s+1,新添的数据块为Ωk+1,各层OS-DELM-AE输出权重的迭代计算公式为:

    jsj4-gs4.gif

    jsj4-gs5.gif

其中,Xk+1为第k+1块数据样本输入,s是每个数据块的有效单位时间。在OS-DELM-AE算法中,要计算βk+1,需要知道从N0~Nk+1的所有数据块,而FOS-DELM-AE算法计算βk+1时,只需要第k+1次添加的数据块Ωk+1和第k-s+1次添加的数据块Ωk-s+1。这是使FOS-DELM-AE算法具备有效去除有可能是错误信息的过时数据的关键。

3 实验评估

    本文算法FOS-DELM选用JINAN QINGQI MTCYCL、HUAXIN CEMENT、HAINAN AIRLINES、JINZHOU PORT等数据集,与OS-ELM、FOS-ELM算法做对比实验。评价指标为均方根误差(RMSE)(均方根误差越小效果越好)、判定系数(R-square)(判断系数越接近1代表拟合程度越高)以及训练时间作为评价指标。其中FOS-DELM采用3层结构,前两层为FOS-DELM-AE,最后一层为FOS-ELM。实验结果见表1~表6。

jsj4-b1.gif

jsj4-b2.gif

jsj4-b3.gif

jsj4-b4.gif

jsj4-b5.gif

jsj4-b6.gif

    由表1、表3、表5可知,FOS-DELM较OS-ELM、FOS-ELM降低了RMSE;由表2、表4、表6可知,FOS-DELM较OS-ELM、FOS-ELM提升了R-square。

    对水环境中DO(水中溶氧量参数指标)、NH3-N(水中氨氮含量指标)进行实验测试,如图2和图3所示,横坐标表示某个时刻,纵坐标表示某个时刻对应值。该结果图选取连续52个时刻的值作为展示,其他时刻有类似效果。从图2、图3的拟合效果看,FOS-DELM对水质指标的拟合程度比FOS-ELM更高。综合上述实验分析来看,FOS-DELM可以作为在线学习的有效方法,并具备深度学习和实效性强等优势。

jsj4-t2.gif

jsj4-t3.gif

4 结束语

    本文结合在线极限学习机原理和深度极限学习机自动编码器原理,提出无监督的在线深度极限学习机自动编码器,使ELM-AE具备在线学习的能力;在深层在线ELM-AE的基础上进一步引入遗忘机制,提出FOS-DELM-AE;并用FOS-DELM-AE做无监督的特征学习,FOS-ELM做有监督的目标学习,使OS-ELM具备深层网络结构的同时,具备在线学习能力。最后通过基于指标RMSE和R-square的实验验证了本文算法FOS-ELM的有效性。

参考文献

[1] HUANG G B,ZHU Q Y,SIEW C K.Extreme learning machine:theoryand applications[J].Neurocomputing,2006,70:489-501.

[2] JIAN W,WEN Y,GOU Y,et al.Fractional-order gradient descent learning of BP neural networks with Caputo derivative[J].Neural Networks,2017,89:19-30.

[3] 王洪元,史国栋.人工神经网络技术及其应用[M].北京:中国石化出版社,2003.

[4] 郁磊.MATLAB智能算法30个案例分析[M].北京:北京航空航天大学出版社,2015.

[5] LIANG N Y,HUANG G B,SARATCHANDRAN P,et al.A fast and accurate online sequential learning algorithm for feedforward networks[J].IEEE Transactions on Neural Networks,2006,17(6):1411-1423.

[6] Tang Jiexiong,Deng Chenwei,Huang Guangbin.Extreme learning machine for multilayer perceptron[J].IEEE Transactions on Neural Networks and Learning Systems,2015,27(4):1210-1213.

[7] 刘勘,袁蕴英.基于自动编码器的短文本特征提取及聚类研究[C].CCF国际自然语言处理与中文计算会议,2014:120-121.

[8] ZHAO J,WANG Z,DONG S P.Online sequential extreme learning machine with forgetting mechanism[J].Neurocomputing,2012,87(15):79-89.

[9] SCHMIDHUBER J.Deep learning in neural networks:an overview[J].Neural Networks,2015,61:85-117.

[10] NODA K,YAMAGUCHI Y,NAKADAI K,et al.Audiovisual speech recognition using deep learning[J].Applied Intelligence,2015,42(4):722-737.

[11] READ J,PEREZCRUZ F.Deep learning for multi-label classification[J].Machine Learning,2014,85(3):333-359.

[12] RAHHAL M M A,BAZI Y,ALHICHRI H,et al.Deep learning approach for active classification of electrocardiogram signals[J].Information Sciences,2016,345(1):340-354.

[13] YAN X,JING Y,ZHONG S.An online supervised learning method based on gradient descent for spiking neurons[J].Neural Networks,2017,93:7-20.

[14] LEI Y,ZHOU D X.Analysis of online composite mirror descent algorithm[J].Neural Computation,2017,29(3):825-860.

[15] CHENG W Y,JUANG C F.A fuzzy model with online incremental SVM and margin-selective gradient descent learning for classification problems[J].IEEE Transactions on Fuzzy Systems,2015,22(2):324-337.



作者信息:

刘步中1,2

(1.江苏省中小企业电子产品工程技术研发中心,江苏 淮安223003;2.淮安信息职业技术学院,江苏 淮安223003)