论文部分内容阅读
随着信息技术的发展与大数据时代的到来,一直备受关注的大规模优化问题在科学与工程领域中的应用更加成为研究的热点.本论文主要从算法微分、参数选取、非单调非精确Newton方法以及部分稀疏优化等几个方面研究一类光滑与非光滑结构优化问题及其算法,这类问题的目标函数是由光滑与非光滑两部分的和组成. 首先,以计算函数梯度为例介绍了算法微分,包括其两种基本模式的计算过程与计算复杂性.接着将算法微分应用到矩阵特征值的求解问题上,设计了结合算法微分的同伦算法;通过基于TOMLAB OPTIMIZATION软件包的算法微分程序实现,对比了新同伦算法与传统的同伦算法的有效性,数值结果表明了结合算法微分的同伦算法效果更好.与此同时,还使用一些最优化方法求解矩阵特征值问题,包括Barzilai-Borwein-类方法和连续化方法.在理论上也都证明了这两种方法的全局收敛性,并且通过数值实验验证了其有效性. 其次,针对一类特殊的非光滑优化问题的参数选取进行研究,主要采用了复杂性理论和灵敏度分析.进一步将邻近梯度法与算法微分相结合,设计出基于算法微分的自协调参数邻近梯度法;在数值实验中,从函数值与梯度值的变化两个方面来确定最优参数值;然后构造稀疏信号恢复问题来验证不同的参数选取对稀疏信号恢复的影响,数值结果表明了新提出的自协调参数邻近梯度法能够找到模型的最优参数值.另外,我们还研究了一族非光滑广义方程的求解,引入了Douglas-Rachford分裂方法(DRSM)加以求解,同时也给出了该算法的收敛性分析,以及若干数值算例. 接着,提出并研究了一种非单调非精确Newton法去求解无约束优化问题.非精确Newton法(Newton-PCG)既保持了二阶快速收敛的特性,又降低了计算量,从而大大提高了算法的效率.尽管如此,传统的非精确Newton法在初始点远离最优解时,甚至无法保证收敛性.为此,我们提出了一种新的非单调线搜索策略,与非精确Newton法相结合,设计出一种非单调非精确Newton法来求解无约束优化问题.理论上证明了在一定条件下新提出的算法具有全局收敛性,并且通过大量的数值实验验证了该算法的有效性. 最后,研究了一类部分稀疏优化问题.基于对偶理论首次提出了部分值域空间性质,从而分析了部分稀疏优化问题的最优性条件.我们还从理论上证明新提出的部分值域空间性质是保证部分稀疏优化问题具有唯一解的必要条件.