论文部分内容阅读
面对浩如烟海的电子信息,如何帮助人们有效地收集和选择感兴趣的信息,如何帮助用户在日益增多的信息中发现潜在有用的知识已成为信息技术领域的热点问题。数据挖掘就是为解决这一问题而产生的领域。由于现实生活中绝大部分信息资源是以非结构化数据的形式存在,而数据挖掘则普遍以结构化数据如关系数据库中的数据为对象,因此对于非结构化信息进行挖掘成为继数据挖掘之后的又一课题。在常见的非结构化文本数据如文本、图像、视频中,文本数据是应用最为广泛的一种形式,常用于数字图书馆、新闻组、组织及个人主页。随着Internet的迅猛发展和日益普及,电子文本信息迅速膨胀,如何有效地组织和管理这些信息,并快速、准确、全面地从中找到用户所需要的信息是当前信息科学和技术领域面临的一大挑战。文本分类作为处理和组织大量文本数据的关键技术,可以在较大程度上解决信息杂乱现象的问题。针对上面提到的问题,本文的主要工作有以下三个方面:首先,分析了数据挖掘的基本概念和方法,重点是数据挖掘中文本分类的具体过程和相关理论。在特征选取技术中对互信息的方法做出了改进。其次,认真研究了支持向量机算法的基本原理。并且就支持向量机的训练算法、分类方法、多类别算法等热点问题分别加以讨论。阐述了支持向量机研究和应用现状,以及所面临的问题。第三,对支持向量机理论在文本分类中的应用技术做出了改进。针对传统SVM无法适应文本数据库随时间不断更新的问题,通过对新增文本集的KKT条件的分析,深入研究了加入新增文本集后支持向量集的变化,提出了使用增量SVM算法进行文本分类,并通过实验验证了通过该算法得到的分类器和传统的分类器有着相似的分类能力和泛化能力。最后,指出了对支持向量机进一步研究和应用需要解决的一些重要问题。