论文部分内容阅读
非线性最优化在科学计算和工程分析等领域中起着非常重要的作用。在非线性最优化的研究中,牛顿法是二阶算法,对牛顿法的改进,一直是人们关注的问题,近年来,用共轭梯度法对它进行改进,即研究牛顿-PCG型方法是国内外的一个研究热点。自动微分是一种新的能精确而有效地计算导数的方法,它优越于传统的微分方法,例如它比符号微分和差分方法的计算成本低,又比差分方法计算精确,自动微分在近几年发展迅速,应用广泛。论文首次将自动微分应用于牛顿-PCG型算法,构造了新算法,并从理论上比较了新算法与牛顿法的效率,证明了新算法的效率严格大于牛顿法的效率,而且新算法与牛顿法的效率比分别是问题维数n和目标函数复杂性的严格单调递增函数,当n趋于无穷大时,这个效率比的下界以ln(n)/ln2的速率趋于无穷大。需要说明的是,在已有的文献中,牛顿-PCG算法与牛顿法的效率比是在目标函数复杂性很小的假设条件下讨论的,本文去掉了这一限制。