摘  要： 以多项式函数作为神经元的激活函数，结合矩阵伪逆的思想预先确定网络权值，并利用区间折半搜寻法自动优化隐层神经元数。通过对Hermit函数的仿真，充分显示了综合优化神经网络算法对函数具有较好的逼近。
关键词： 函数逼近；多项式神经网络；权值预确定；区间折半搜寻法

　BP神经网络是目前研究最为成熟、应用最为广泛的人工神经网络模型。然而，在实际应用中，如何设计网络结构、如何选取网络参数、如何提高网络收敛速度是急需解决的问题。事实上，人工神经网络模型是从输入到输出之间一个非线性映射的逼近。根据kolmogorov定理，含有一个隐层的3层BP神经网络在隐节点数足够多的情况下能以任意精度逼近有界区域上的任意连续函数[1]。由于网络参数随机性的影响，隐层神经元数的选择，至今还没有一个明确的方法。大量的实验表明，如果隐层神经元的数目偏少，网络的学习能力和处理信息的能力较差，学习误差下降缓慢，甚至出现达不到目标精度的现象；若隐层神经元数目过多，一些隐层神经元输出存在着线性相关性，就造成网络结构庞大、网络泛化能力低等问题。因此，不能完全按照kolmogorov公式或者经验公式确定隐含层神经元数目。而对于具有一定规模的、较为复杂的问题，由于其规模的不同和对求解速度的要求，更需要寻找合适的神经网络算法以确定最优隐神经元数目以保持能兼顾网络最快学习速度和良好信息处理能力的最优或较优状态。本文将多项式函数作为神经元的激活函数，结合矩阵伪逆的思想并利用区间折半搜寻的方法自动优化隐层神经元数等综合优化神经网络算法。


　本文在优选神经元数时，首先确定最优神经元范围，然后采用区间折半搜寻法确定最优神经元数。初始隐层神经元只选取一个，以网络输出和期望输出的误差函数作为网络评价函数。在训练误差高于期望误差阶段，隐层神经元数按指数增长；在训练误差低于期望误差或者不再降低的阶段，确定最优神经元数的范围，然后采用区间折半搜寻法找出最有神经元数。

2 网络模型与算法
　综合优化网络的基本思想对给定的训练样本，取网络隐层神经元数num=1，根据前述的权值预确定的方法求出初始权值，并计算网络输出、判断网络输出和期望输出的误差。若网络误差满足期望误差的要求，停止训练，网络输出权值和隐层最优神经元数num；若网络误差未达到期望误差，则将num扩大2倍，重新计算网络权值和网络误差，直到网络误差达到期望误差为止。此时，网络便确定了隐层神经元数的大致区间，在根据区间折半搜寻法，每次取区间的中点，计算网络权值和网络误差，在保证网络误差不超过期望误差的情况下确定隐层最优神经元数。
　改进的网络模型：输入层到隐层间的权值默认为1，神经元激活函数为有限多项式函数S（x），模型输出值为S（xi）=w0+w1xi+…+wnxin，其中，n代表隐层神经元数。综合优化网络的算法步骤如下：
　（1）给定模型精度T，门限t（取一个很小的值），输入样本；
　（2）计算权值w和模型误差error，确定最优隐层神经元数的范围；
　（3）采用区间折半搜寻法，找出最优隐层神经元数num；
　（4）输出最优神经元数num和此时网络模型的误差error和权值w。

　从表中数据可以看出，对同样的样本，综合优化神经网络耗时最少，学习次数最少，收敛速度相当快，而且对非噪声数据样本处理效果非常好。尽管综合优化网络去噪能力不如BP神经网络，但不需要人为的确定隐层神经元数。简言之，综合优化神经网络可以自动优化网络结构。
　综合优化神经网络和BP神经网络对Hermit函数的逼近情况见图1~图4。

　从图1~图4可知，综合优化神经网络与BP神经网络在逼近函数时优缺点不是很明显，除了在图形尖角处稍有差异外，拟合度很高。从算法角度讲，综合优化神经网络明显优于BP神经网络。综合优化神经网络不需要权值迭代，只需一步便可以计算出神经元的权值，大大减少了网络的学习时间，提高了网络的收敛速度；综合优化神经网络的参数比BP神经网络的参数少，因此受参数的随机性干扰较小。此外，综合优化网络与区间折半搜寻法良好结合，能够较好地自动优化网络结构，这也是神经网络学者一直攻克的难题之一。
根据前面的理论，基于多项式神经网络的综合优化神经网络在一元连续函数的逼近方面可以达到较好的逼近效果。但是，该网络是否适用于分类问题、多元函数的逼近问题，还需要进一步探讨。此外，该网络与区间折半搜寻法结合达到自动优化网络结构的目的在多元问题上是否仍适用也需要深层次探讨。
参考文献
[1] 魏海坤.神经网络结构设计的理论与方法[M].北京：国防工业出版社，2005.
[2] 欧阳光中，陈传璋，朱学炎，等.数学分析（第三版）[M].北京：高等教育出版社，2007.
[3] 李岳生，黄友谦.数值逼近[M].北京：人民教育出版社，1978.
[4] 张雨浓，杨逸文，李巍.神经网络权值直接确定法[M].广东：中山大学出版社，2010.
[5] 王建军，徐宗本.多元多项式函数的三层前向神经网络逼近方法[J].计算机学报.2009，32（12）.
[6] 张雨浓，陈裕隆，姜孝华，等.一种权值直接确定及结构自适应的Chebyshev基函数神经网络[J].计算机科学，2009，36（6）：210-213.