自动微分在计算科学和工程分析中有着越来越重要的作用。在求解最优化问题的算法中,大多依赖目标函数、约束函数的一阶或高阶导数及其相关项(如Jacobian矩阵与向量的乘积等)的求解。自动微分是计算这些导数项的有效工具,与传统的微分方法相比具有计算成本低、计算精度高等优点。本文介绍了自动微分的基本模式,其中包括正向模式、逆向模式等。本文研究了高阶导数的自动微分求解并应用于经典的Halley方法及其改进中,最后通过数值试验实现了算法并验证了算法的有效性。　　 自动微分也可以很有效地应用于非光滑优化方法中,由于很多应用领域如压缩感知、信号和图像处理、多任务学习等大规模问题,其目标函数或约束函数中含有非光滑函数项。本文介绍了一般形式的非光滑一阶算法,并将自动微分应用到其中,最后数值试验的结果显示了这些算法的有效性。