论文部分内容阅读
在Vladimir N.Vapnik的统计学习理论基础上发展起来的支持向量机(Support Vector Machines,SVMs)是目前模式识别领域中最先进的机器学习算法。本文对支持向量机及其在模式识别中应用的若干问题作了研究，着重讨论了以下几个方面的问题： (1) SVMs实现算法研究。 (2) SVMs推广性能研究。 SVMs发展到现在，同其他解决模式识别问题的方法一样，也遇到了参数选择与参数优化问题，怎样选择与优化对SVMs的推广性能起核心作用的核函数，成为阻碍SVMs进一步发展的难题。最近，David McAllester等人从Bayesian理论及PAC(Probably Approximately Correct)学习的角度提出了衡量SVMs推广性能的PAC-Bayesian理论框架；Ralf Herbrich等人从几何学的角度出发，给出了PAC-Bayesian理论框架下SVMs推广性能的界，并指出只要优化该界就可以优化径向基函数(Radial Basis Function,RBF)的参数，从而为SVMs在RBF内核下的参数优化问题提供了理论依据。本文对Ralf Herbrich等人提出的界做了进一步收紧，从而得到一个更好的上界。同样，该界也可作为RBF内核参数优化的依据。 (3)基于SVMs的多类分类器研究。 SVMs是一种两类分类器，而实际应用中需要解决多类分类问题，这样必须要解决用SVMs构造多类分类器的问题。考虑到实际应用中的要求，构造的多类分类器不但应该具有良好的推广性能，而且要具备可修正性，且修正过程应具有较小的时间空间开销。用本文提出的ISUOA(Integrate SVMs with UCOA)算法构造的多类分类器在一定程度上解决了上述问题。