论文部分内容阅读
学习机器组合算法的研究越来越受到关注.有大量的实验表明把个体学习机器组合起来可以提高推广能力,但仍有许多理论问题需要解决.
支持向量机(SVM)是近十年来出现的比较流行的模式识别方法,它较好地执行了统计学习中的结构风险最小化原则,是统计学习理论的成功实现.但在某些情况下,运用支持向量机算法常不能达到理论期望的水平.
本文尝试把支持向量机和组合算法相结合,构造一种新的算法,具有两者的优点,弥补支持向量机的不足.这种新的算法称为支持向量机组合算法.
近几年来由于经验过程理论在学习理论中的成功应用,产生了稳定性这样一个可以用来界定推广性的量,它是依赖于数据,并且被证明了用它作为所选函数集复杂性的惩罚项较其他量有优势.本文在上述基础上对支持向量机组合算法研究了其稳定性及推广能力.
论文主要内容安排如下:
第一部分:分析学习算法的一般理论及相关问题,综述本文所做研究工作的步骤和成果.
第二部分:首先介绍了组合算法的思想和方法,以及几种常用的组合算法形式,包括Boosting算法,Bagging算法.然后介绍了支持向量机的思想和方法,以及几种常用的SVM形式,包括错分类的SVM,α-范数软间隔范数分类的SVM.最后提供了关于稳定性和推广性的定理和结论,作为研究工作的理论工具.
第三部分:把支持向量机和组合算法相结合,构造支持向量机组合算法.运用留一误差和稳定性给出其推广性的界.
第四部分:运用支持向量机组合算法解决不平衡数据集问题.
最后一节总结了本文的主要内容,提出了进一步的研究方向。