求解大规模支持向量机问题的算法研究

来源 :山东科技大学 | 被引量 : 0次 | 上传用户:ayhui2046
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
支持向量机是一种以统计学习理论为基础的学习方法,是数据挖掘中的一项新技术,同时也是借助最优化方法解决机器学习问题的新工具,它在模式识别、图像处理、生物信息等领域都有着广泛的应用。支持向量机的核心是求解一个大规模凸二次规划问题。本文主要围绕大规模凸二次规划的求解,对大规模及具有特殊结构的支持向量机求解算法进行了研究,主要工作如下:  首先回顾了支持向量机的基础理论和求解算法,引出本文的研究背景与意义,以及所做的主要工作。  第二章针对一般的大规模支持向量机模型提出了一个新的坐标梯度下降算法,算法每步通过选择非空的坐标集为工作集,并限定工作集的规模,利用梯度建立目标函数的二次估计,得到下降方向。同时,算法通过合理的选取二次项矩阵,避免了线搜索带来的时间和空间上的开销,使计算量大大减少。最后,在较弱的条件下证明了算法的收敛性。  第三章中,考虑到支持向量机模型中支持向量的特点,即只有支持向量对应的训练点对决策函数有贡献。对于给定的训练样本集,若支持向量是已知的,训练算法就可以排除非支持向量,只对支持向量进行计算。基于上述特点,结合增广Lagrangian函数和有效集识别技术,本章给出了求解支持向量机模型的算法,在较弱的条件下证明了算法的全局收敛性,并通过数值实验验证了算法的有效性。  第四章给出了针对特殊结构的支持向量机模型的分解算法,通过分析问题的KKT条件,提出了“KKT违背指标”这一概念。以这个概念为基础,提出了确定工作集的算法。并将这种分解算法推广到求解一般非线性界约束优化问题。在每次迭代中,只需求解一个工作集规模大小的问题即可,使得计算量大大减少。在适当的条件下,算法具有全局收敛性,数值实验验证了算法的有效性。  最后,总结了本文的内容,并提出对支持向量机算法进一步研究的一些思考。
其他文献
本文主要利用博弈论的经典理论,在纯策略矩阵博弈模型中,由区间数来作为局中人策略集中的元素,并讨论了区间数在纯策略矩阵模型中的性质及相关结论;最后研究了滤子在博弈论中
本论文主要研究了具有控制分解的C1微分同胚沿不稳定叶层的熵与Lyapunov指数的关系,揭示了在“C1+控制分解”条件下不同层次的Lyapunov指数对相应层次的熵的贡献.  论文主要
请下载后查看,本文暂不支持在线获取查看简介。 Please download to view, this article does not support online access to view profile.
期刊
期刊
Fair Scale突破50000平规模600家龙头企业共襄盛会北方石博会计划展出面积52500平米,2500个国际标准展位,启用5个场馆,不低于10场精准实效的配套活动,50000人次的专业采购商
学位
微分形式的研究成果主要应用于偏微分方程、微分几何、代数拓扑、数学物理和物理的广义相对论等诸多领域。作为非线性椭圆偏微分方程的重要一类——A-调和方程,特别是有关微
21世纪是计算机技术迅速发展的时代,人们对网络信息安全等问题的关注程度也因此日益提高。为顺应这种发展,人们提出数字签名的概念。它是公钥密码学的重要组成部分,是实现电子
在不动点理论的研究中,不动点迭代逼近问题的研究始终是热门课题之一。  本文在Banach空间中研究了两类非线性算子的不动点迭代逼近问题。在文中的第三章,研究了Lipschitza