论文部分内容阅读
支持向量机是一种以统计学习理论为基础的学习方法,是数据挖掘中的一项新技术,同时也是借助最优化方法解决机器学习问题的新工具,它在模式识别、图像处理、生物信息等领域都有着广泛的应用。支持向量机的核心是求解一个大规模凸二次规划问题。本文主要围绕大规模凸二次规划的求解,对大规模及具有特殊结构的支持向量机求解算法进行了研究,主要工作如下: 首先回顾了支持向量机的基础理论和求解算法,引出本文的研究背景与意义,以及所做的主要工作。 第二章针对一般的大规模支持向量机模型提出了一个新的坐标梯度下降算法,算法每步通过选择非空的坐标集为工作集,并限定工作集的规模,利用梯度建立目标函数的二次估计,得到下降方向。同时,算法通过合理的选取二次项矩阵,避免了线搜索带来的时间和空间上的开销,使计算量大大减少。最后,在较弱的条件下证明了算法的收敛性。 第三章中,考虑到支持向量机模型中支持向量的特点,即只有支持向量对应的训练点对决策函数有贡献。对于给定的训练样本集,若支持向量是已知的,训练算法就可以排除非支持向量,只对支持向量进行计算。基于上述特点,结合增广Lagrangian函数和有效集识别技术,本章给出了求解支持向量机模型的算法,在较弱的条件下证明了算法的全局收敛性,并通过数值实验验证了算法的有效性。 第四章给出了针对特殊结构的支持向量机模型的分解算法,通过分析问题的KKT条件,提出了“KKT违背指标”这一概念。以这个概念为基础,提出了确定工作集的算法。并将这种分解算法推广到求解一般非线性界约束优化问题。在每次迭代中,只需求解一个工作集规模大小的问题即可,使得计算量大大减少。在适当的条件下,算法具有全局收敛性,数值实验验证了算法的有效性。 最后,总结了本文的内容,并提出对支持向量机算法进一步研究的一些思考。