信息熵是信息量的度量,利用数据样本的信息熵可揭示系统的某些内在特性。对于数据聚类,信息熵具有其应用价值。以样本聚类为基础的径向基函数(RBF)神经网络是一种结构简单、训练简洁、应用广泛的人工神经网络。其网络性能好坏的关键在于基函数中心的选择。中心的数量即隐层节点数选的太多,容易导致过拟合,使得推广能力下降;中心数选得太少,所学习的网络样本中包含的信息得不到充分的学习,也会使得推广能力下降。近年来,已经发展了很多种基于各种聚类算法的中心选择方法。这些方法对于一些输入样本数及聚类模式数给定的模式识别问题比较适用,但这些算法都是以迭代方式达到目标函数的收敛,容易陷入极小点,因此算法对初值非常的敏感[1],而且要求预先给定全部输入样本及其聚类中心的数目,这对某些问题是无法实现的。本文将信息论中的熵应用于RBF网络的训练算法中,研究结果表明,利用熵聚类方法,是有效解决上述问题的途径之一。本文工作的主要内容阐述如下:①对径向基(RBF)神经网络及其主要训练算法、信息熵等相关基本理论进行了介绍。②针对RBF训练算法中很难确定径向基函数中心的问题,采用信息论中的熵的思想,给出了一种熵聚类算法,用于对RBF中心位置的初始化。借助于Matlab平台,利用该方法对函数进行逼近。最后实验表明,改进的方法比经典的K-均值聚类法所得到的逼近效果要好,而且训练速度更快。③泛函网络是神经网络的一般化推广。本文将熵聚类算法应用到泛函网络中,提出了一种可用于函数逼近的可分离泛函网络的方法,并对此方法进行了计算机仿真。仿真结果表明,改进的方法能很好的逼近给定函数,具有良好的逼近性能。本文采用的熵聚类方法,使RBF神经网络在逼近问题上不仅具有逼近效果好、训练速度快的优点,还具有自动确定RBFNN的隐节点数和相应的隐节点参数的能力。