人工神经网络以其自身的自组织、自适应和自学习的特点被广泛应用于各个领域。有时我们希望所建立对象的模型能够反映系统的动态特性，而传统的前馈网络属于静态网络，在处理动态系统的应用中存在着很多问题。虽然通过引入时滞环节来描述系统的动态是可行的，但仍有不足，因为这需要大量的神经元来表示动态响应，并且需要预知系统的阶次。近年来递归神经网络的研究发展迅速。与前馈网络相比，它是动态网络，利用网络的内部状态反馈来描述系统的非线性动力学特性，从而能更直接的反应系统的动态特性。递归网络是有一个或多个反馈回路的神经网络。把反馈应用于神经网络有多种不同的形式，从而就会产生不同结构的递归网络。在其学习算法中，梯度下降法被广泛应用。1989年，Williams和Zipser提出了基于梯度法的实时递归学习算法(RTRL)。文献[22]针对一个神经元的情况，给出了RNN梯度下降算法的确定收敛性定理。在此基础上，本文对RNN梯度学习算法作了进一步的理论研究。本文第一章为文献综述。在第二章我们简要介绍了几种常见的惩罚项，并从理论上对不带惩罚项的递归网络权值的无界性作了讨论。针对这个问题，我们引入了修正的误差函数，即在原来的误差函数中加入惩罚项，进而证明带Weight-decay惩罚项的RNN梯度下降法的收敛性以及权值的有界性。文献[21]中的RTRL算法是在线梯度法推广到递归网络的形式，但是关于此算法的收敛性能，作者并没有给出理论证明。第三章我们主要论证了RTRL算法的弱收敛和强收敛性定理。