基于支持向量机的中文文本自动分类系统的研究与实现

来源 :上海财经大学 | 被引量 : 0次 | 上传用户:tangguoxun3726
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着网络的迅猛发展,如何对网络上大量的自然语言文本按照既定的语义进行正确的归类,已经成为组织大量网络信息的一个关键问题。这就是文本分类的任务。电子文本成几何级数增长,日常生活中海量信息的传播,迫切的要求我们能对这些文章进行自动分类。使用文本自动分类系统可以帮助人们自动检查文本,判断文本的类别。 文本分类在国外的研究开展时间较早,1957年美国IBM公司的H.p.Luhn在自动分类领域最先进行了开创性的研究,提出了词频统计思想用于自动分类。1960年M.E.Maron在Journal of ACM上发表了有关自动分类的第一篇文章,提出了自动关键词分类技术,正式宣告了自动分类技术的诞生。国外的文本分类经历了可行性基础研究和实验性开创研究,目前已经进入到实用性商业应用,在信息检索、电子会议、网络安全、机器翻译等方面都得到了广泛的应用。 90年代以来,随着模式识别、机器学习、统计学习、数据挖掘等理论研究的发展,文本分类被注入了新的活力。这些分类算法通常是从预先分类正确的训练文本集合中学习到类别的特征判别信息,再通过测试文本集合对得到的分类器性能进行测试。目前,这种分类方法所达到的分类性能已经不亚于人工分类。典型的代表系统有Google公司的搜索引擎和IBM的文本智能挖掘机等。 由于历史原因,我国在这一领域的研究起步较晚。90年代,随着国内外学术交流活动的增多和国内科研力量的不断壮大,目前我国在中文文本自动分类领域中已经取得了令人瞩目的研究成果,其中一些已经被成功的推广和应用,典型的代表系统有北大天网和百度搜索等。此外,如《中文信息学报》,中国中文信息学会、国际中文计算机学会及国内若干著名高校计算机系的中文信息处理实验室等都对此进行了深入的研究,它们对中文文本分类技术的发展起到了积极地推进作用。 目前中文文本分类技术虽然取得了很大的进步,得到了广泛的应用,对其的研究仍有广阔的空间。首先,文本信息处理的知识来自于机器词典、句法规则以及有关词和句子的语义、语境、语用知识库,如何将这些知识和分析策略结合起来构造功能强大的分词系统一直是研究的重点。另外对于支持向量机而言,其训练算法优化一直是该领域研究的热点和难点,如何在较小的系统复杂性下更快的发现支持向量并构造分类超平面也还有改进之处。 SVM是建立在‘VC维和结构风险最小化基础上的一种新的机器学习方法,能有效地避免传统分类方法中过学习、维数灾难、局部极小问题,在小样本条件下仍具有良好的泛化能力,因此受到了广泛的关注。但是,应用于中文文本分类的SVM仍然有一些未解决的问题。首先,众所周知,在文本分类领域,中文文本的表示是难点之一。这一过程的输出取决于分词的策略、特征选择函数和权重函数的选择等诸多因素,它们将如何影响SVM的分类结果,有待进一步研究。其次,当训练样本集合不大的时候,支持向量机算法效率要高于其他一些传统的分类算法。但是对于大规模的高维训练样本的集合,支持向量机所用的核计算时间和优化时间都是很费时的,最好能在利用训练样本的特征对训练集进行精简。以上两点成为了本文重点解决的问题。
其他文献
一个企业能否建立和保持长期的竞争优势,关键在于其是否能制定一个适合自身实力和环境要求的发展战略,并有效地加以实施。本文运用战略管理、人力资源管理、财务管理等理论与方
本文借鉴已有的相关理论,结合我国开放式基金发展的实际情况,选取了2003年11月1日前上市,迄今已运行满三年以上的34只偏股型开放式基金与10只偏债型开放式基金为样本基金,分别采
企业制定合理的决策需要正确信息的支撑。从单个生产单元任务安排到企业未来发展战略的规划都离不开信息的支持。企业的信息资源有多种类型,内部的信息资源包括运营信息、财务
“三个代表”思想所体现的创新精神,集中体现在“七一”重要讲话中关于只有坚持“三个创新”才能实现“三个代表”的科学阐述上。“三个代表”思想把代表先进生产力、先进文
民以食为天,这是中国人的信仰。民为国基,谷为民命;悠悠万事,吃饭为大。粮食是文明的“种子”,更准确地说,粮食是人类由野蛮走向文明的物质基础。中华文明之所以数千年赓续不绝,其物质基础便在于发达的农业生产。粮食,是百姓的天,是国家的天,是人心安定的稳定剂,是社会发展的压舱石。在创造了一个又一个农业奇迹之后,中国人应该如何端好端牢自己的饭碗?训诫和奇迹:看似不可能完成的任务  在人类历史上,不少地方曾燃
期刊
在世界各地,每年都有大量的企业陷入财务困境。财务困境给相关的利益人造成重大的损失,给社会经济造成了负面的影响,也使之成为经济界广泛关注的热点。如何客观评价一个企业财务
近来,共享经济成为全球学术领域和互联网创业投资领域的热点话题,依托共享经济的商业模式更是在短短几年内以迅猛的态势渗透到众多行业和细分市场。出行领域则是共享经济商业模
现在,我最关心耐盐碱水稻示范工程、杂交水稻超高产攻关工程等三大工程,期望通过它们,更进一步推动我国乃至世界杂交水稻事业的发展.创新对于任何一个国家和民族来说都很重要
期刊
媒体刊播违规购物广告,不仅与“铁肩担道义”的职业精神背道而驰,更损害自身的社会形象和信誉,弱化自己公众服务、舆论监督和社会教育功能,给公众的社会生活带来负面影响。对
面临国际国内错综复杂的形势和加入世贸组织的严峻挑战,要实现“十五”计划的良好开局,关键在于全面加强党的思想、组织、作风建设。——要加强党的思想理论建设,努力提高综