基于角度的变系数多分类支持向量机

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:suna_lili82
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
作为机器学习中一个经典的分类算法,支持向量机一直深受数据科学家们的喜爱。当给定训练样本集,支持向量机通过最大化最小间隔思想构建优化问题,得到最佳的决策分界面,从而实现对新样本的类别预测。无论对于线性可分数据或非线性可分数据,传统的支持向量机都能高效地解决二分类问题,同时保证模型的过拟合程度在可以接受和控制的范围。其不仅有直观的几何解释,而且具有统计学习理论的夯实基础和简洁的数学形式。这些优势使得支持向量机方法从1995年被提出直至现在,一直倍受青睐,并在文本分类、图像分析、生物信息、信息安全、语音识别及时间序列预测等领域均有成功应用。然而现实中的数据更为复杂多样,一方面数据的类别往往多于两个,成对分类、一类对余类及Crammer-Singer等多分类支持向量机应用而生,近年来不乏有优秀的多分类支持向量机的衍生算法涌现;另一方面,某些领域需要更加注重协变量之间的关系对模型的影响,有些领域的数据中可能会存在相对特殊的变量,文中称之为主变量(targeted variable)。普通的常系数模型不能很好地提取主变量对其他协变量的影响,所以需要建立相应的变系数模型,以保持主变量对最终分类结果的贡献。例如医学数据中,可以视年龄为主变量,对于不同的年龄取值,同一个特征变量对最终的分类的影响大小也将随年龄的不同而变化。  本文同时考虑上述两个方面,针对含有主变量影响的多类别数据集,提出了一个新的多分类模型,基于角度的变系数多分类支持向量机(TLAMSVM)。它从两个角度对一般的二分类支持向量机进行了推广。首先在众多多分类方法中选择了基于角度的间隔最大分类框架作为本文模型多分类推广的基础,该框架在理论性质和数值实验中均有较好表现,而且相比其他的直接多分类推广方法具有更好的几何解释能力。其次本文的基于角度的变系数多分类支持向量机的损失函数使用了损失函数的凸组合形式,保证了模型的Fisher一致性。针对主变量对模型的影响,模型在这一角度进行推广时引入了变系数模型的思想,通过选择不同的局部光滑核函数对主变量取值不同的样本进行加权处理,构建有效的依赖主变量的分类规则。这使得训练后的模型对新样本做预测时,更加关注样本的差异性,并且可以给出多角度的分析结果。  文章依次介绍了本文提出的基于角度的变系数多分类支持向量机的三个基础内容:传统支持向量机,基于角度的间隔最大分类框架和定向局部核加权方法。然后展示了本文模型的详细内容和对偶形式优化问题的推导过程,以及使用坐标下降法求解优化问题的计算步骤。在后面的章节,分别使用模拟数据集和真实数据集进行模型分类效果的验证,通过数值实验结果可以得出结论,相比没有使用变系数思想或基于角度的多分类框架的多分类支持向量机,本文提出的基于角度的变系数多分类支持向量机在含有主变量的多类别数据集上具有更好的预测效果。并且对真实数据集的样本可以得出更为细致的分析,在实际应用中具有较大意义。
其他文献
该篇论文主要研究了实系数延迟微分方程及中立型延迟微分方程隐式线性多步法依赖于延迟的稳定性分析.这两部分分析是独立进行的.针对这两种情况,分别给出了线性多步方法关于
该论文主要考虑了热传导系数反问题的两种数学模型的数值求解方法.一类是稳态的两点边值问题,一类是动态的热传导偏微分方程的数学模型.对于两点边值反问题,该论文在文献[21]
指纹作为一种重要的生物特征,在身份认证等领域一直发挥着特别重要的作用。本文针对指纹自动识别系统的关键技术进行了研究。  第二章提出了基于深度学习的奇异点检测方法,该
对于非线性优化问题寻找快速有效的算法一直是优化专家们热衷研究的一个方向.近些年来,非单调的优化算法地问题规模比较大而且非线性程度比较高的问题中取得了很好的计算效果
该文研究了具有年龄结构的离散SIS模型的动力学性态.我们提出了年龄结构的离散SIS模型和有接种的年龄结构离散SIS模型,根据实际背景和数学分析的需要,研究过程中作了一些合理
全文共分五章.第一章综述了数据挖掘的背景、定义、方法以及分类问题的现状.第二章通过对传统的分类模型的改进,对偶然事件进行建模,以便更好地地提取它们.在模型解法中引入
随着电子技术的发展,尤其近年来计算机和网络技术的发展,网络上的应用日益广泛与丰富,人类的社会生活已越来越离不开网络.网络计算技术的研究一直以来就是业内关注的焦点,分
情境教学是指老师根据学生的年龄状况、心里特征等实际情况出发,根据教学需要,在课堂上创建与学习内容相呼应的教学场景,激起学生情感共鸣,从而使学生更好的理解和运用所学知
该文首先描述旅行推销员问题,并给出其数学模型.由于旅行推销员问题属于NP-难题,尽管有许多算法求解,但都未能找到最优解.由于它具有NP-难题的性质,因此,需另劈新路.在提出改
该文从地球物理勘探基于的两大理论模型——滤波器模型及场效应模型的角度考查了工程反射地震资料数据处理的现状、不足及其发展,以显现小波变换,尤其是反射地震层析成像在反