非线性函数逼近小波神经网络的优化及仿真

摘要 提出一种用于非线性函数逼近的小波神经网络的训练算法。分析了网络的拓扑结构，给出了网络的参数估计方法，即混合递阶遗传算法，该算法是递阶遗传算法和多元线性回归的结合，仿真研究表明该方法逼近精度高，为非线性系统建模提供了一种新方法。

关键词 小波神经网络，混合递阶遗传算法，函数逼近，优化

近年来，非线性系统的研究成为国内外科学研究的前沿和热点问题，其中非线性系统的黑箱识别问题尤其引人注目。近年来兴起的小波分析方法，为非线性系统黑箱识别提供了一种十分有效的工具^[1]。小波神经网络是小波分析和神经网络的结合，具有更优越的非线性函数逼近能力^[2]。

本文用一种小波神经网络对非线性系统进行建模，采用混合递阶遗传算法优化小波神经网络。并与基于BP算法的小波神经网络进行了比较，仿真结果表明该方法是有效的。

1 小波神经网络与建模

根据以上理论我们得到以小波基函数

为激励函数的前向小波神经网络，其信号表示是通过将所选取的小波基进行线性叠加实现的(即(4)式)，包含一个隐含层，输出层为线性神经元。其结构如图1所示。

图 1 小波神经网络结构

Fig. 1 The structure of proposed WNN

其数学模型为：

上述小波网络可以实现复杂的非线性函数映射。1中以提到，问题是如何确定最优的隐含层结点以简化网络、提高逼近精度和速度。由于小波神经网络输出层为线性神经元，因此只要确定了 M、m 、n ，通过多元线性回归就可计算出参数 ，所以在小波神经网络的训练中，主要任务是寻找参数M 、m 、 n。

基于以上特点，本文提出利用递阶遗传算法和多元线性回归相结合，即混合递阶遗传算法优化小波神经网络的新方法。

3小波神经网络优化

3.1混合递阶遗传算法染色体编码

递阶遗传算法是根据生物染色体的层次结构提出的^[4]，染色体由控制基因和参数基因两部分构成，控制基因是二进制数，每一位对应一个隐含层神经元，控制与此神经元相关的参数基因。当该位是1则该位对应的神经元激活，其参数起作用。反之，该位对应的神经元休眠，其参数不起作用。 从遗传算法的角度来看，遗传算法进行编码时，编码信息不应超出表示可行解所必需的信息。由于小波神经网络输出权值可用多元线性回归计算。所以编码时染色体只保留与隐含层神经元相关的参数，其结构如图2所示。

图2 染色体数据结构

Fig 2 The structure of chromosome

3.2 遗传操作算子

1）选择算子

其中 (即(6)式)为能量函数，由(7)可以看出能量函数越小的染色体的适应度越高，并且 的值在 之间，这样对最佳个体具有更好的鉴别力。本文采用轮盘赌法，这也是一种典型的选择算子。

2）交叉算子

由于本文染色体由控制基因和参数基因两部分组成，所以采用两点交叉，交叉点分别位于控制基因和参数基因中。

3）变异算子

根据染色体编码特点，本文采用两点变异。在控制基因采用二进制翻转变异。在参数基因部分采用实值变异，实值变异步长的选择比较困难，通常根据具体情况而定。本文采用如下的变异算子^[5]：

3.3 确定 、 的初始区间

3.4 优化过程

图3优化流程图

Fig 3 The stages of optimaion

4仿真实验

本文通过解决两个非线性函数逼近问题，验证采用本文方法优化小波神经网络优点，并和文献^[6]BP算法训练小波网络作比较。

本文算法的参数取值：种群大小100，染色体长度60（控制基因长度为 ，即隐含层最大神经元数目，参数基因长度为40），交叉概率为0.95，变异概率为0.01。本文采用小波函数为：

图4所示本文算法迭代50次,优化小波神经网络的函数逼近情况，图5所示适应度变化情况。图6所示BP算法训练的小波神经网络迭代3000次函数逼近情况。优化的小波神经网络只有9个神经元，BP算法训练的小波神经网络有32个神经元。在[0 1]区间内，取样步长0.01。

图4 优化小波神经网络函数逼近情况

Fig 4 Approximation result of the optimized WNN

图5优化小波神经网络函数逼近适应度变化

Fig 5 Fitness value of the function approximation

图 6 BP算法训练的小波神经网络函数逼近情况

Fig6 Approximation result of the WNN trained by BP

图7所示本文算法迭代100次,优化小波神经网络的函数逼近情况，图8所示适应度变化情况，图9所示BP算法训练的小波神经网络迭代3000次函数逼近情况。优化的小波神经网络只有12个神经元，BP算法训练的小波神经网络有35个神经元。在[0 4]区间内，取样步长0.01。

图 7 优化小波神经网络函数逼近情况

Fig7. Approximation result of the optimized WNN

图8优化小波神经网络函数逼近适应度变

Fig 8. Fitness value of the function approximation

图 9 BP算法训练的小波神经网络函数逼近情况

Fig9. Approximation result of the WNN trained by BP

通过比较图4、图6和图7、图9可知，小波神经网络对曲线的突变部分和光滑部分都具有较好的逼近能力，对于突变信号的逼近具有BP网络无法比拟的优越性，逼近精度很高。

5结论

本文提出的小波神经网络逼近非线性函数算法，为非线性系统建模提供了一种新方法，根据小波神经网络的拓扑结构和算法特点，提出利用混合递阶遗传算法优化小波神经网络，该方法能够同时优化小波神经网络的结构和参数，避免了凭经验选取隐层小波基个数，仿真结果表明具有逼近精度高的优点。

参考文献

[1] 王美玲，张长江，付梦印等.一种用于非线性函数逼近的小波神经网络算法仿真.北京理工大学学报，2002,22(3):274-278

[2] 刘志刚,王晓茹,何正友等.小波变换、神经网络和小波神经网络的函数逼近能力分析与比较[J].电力系统自动化. 2002,10(20):39-41

[3] 李银国,张邦礼,曹长修.小波神经网络及其结构设计方法模式识别与人工智能[J]1997,10(3):197-205

[4] Man.K F,Tang K S,Kwong S,etal.Genetic A-lgorithms for Control and Signal Processing[M].Lodon:Springer-Verlag,1997

[5] 王小平,曹立明.遗传算法-理论、应用与软件实现[M].西安交通大学出版社.2001,1.

[6] 王泰华,葛云萍,余发山. 小波神经网络用于非线性函数逼近的研究[J]. 西南民族学院学报自然科学版.[J].2003,29(1):38-40.