论文部分内容阅读
由于结构对称性等原因，多层感知器、RBF网等前馈神经网络的参数空间中存在大量的奇异区域。受奇异性的影响，前馈神经网络的学习过程中普遍存在着局部最小点多、学习速度慢、学习易陷入平坦区(plateau)等异常现象。研究奇异区域附近的学习动态，对理解神经网络的动力学行为、改进神经网络结构设计等具有重要意义。 针对前馈神经网络存在的奇异性问题，我们引进了自然梯度法，它能够有效地避开神经网络学习过程中出现的奇异区域。为此，本文对自然梯度法进行了以下研究和分析： (1)对于多层感知器模型，在激活函数选为误差函数的条件下，推导了自然梯度学习算法。我们具体给出了Fisher信息阵及其逆矩阵的解析表达式，从而得到了自然梯度法的迭代公式，并与BP(Back-Propagation)算法进行了比较。仿真验证了自然梯度法能够加快学习速度，可以避免学习中出现的平坦区现象，并且渐近的逼近Cramer-Rao下界。 (2)当样本输入维数很大时，实现自然梯度法的主要困难在于计算Fisher信息阵的逆矩阵。为此，我们将激活函数简化为高斯函数，从而对RBF网模型进行分析和研究。将自然梯度法应用于RBF网模型中，给出了Fisher信息阵及其逆矩阵的解析表达式。 (3)由于计算Fisher逆矩阵是非常困难的，因此，我们针对RBF网模型中的自然梯度法进行了改进，引入自适应的方法，得到了自适应自然梯度学习算法及其解析表达式，并与通常的梯度法进行了比较。最后，仿真验证了自适应自然梯度法良好的学习性能，它比通常的梯度法有更快的收敛速度，也能更快地逃脱plateau区域。