属性选择及其在分类中的应用

来源 :广西师范大学 | 被引量 : 0次 | 上传用户:mxl19860326
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人工智能的发展,各行各业都产生了各种各样的数据。这些数据呈现出海量、多元化、高维等特点。然而,在这些大数据中,很大一部分属性的作用是微乎其微的,它们增大了计算机的存储负担,影响了算法的运行效率。另一方面,数据中存在的噪声和离群点对数据挖掘会带来很大的影响,会影响训练出的模型的准确性。因此,属性选择和鲁棒学习就显的格外重要。属性选择可以删除那些对模型无用或起到相反效果的冗余属性,为后续的分类或聚类算法大大降低了计算量。鲁棒学习可以有效地降低数据中噪声和离群点对模型的影响,使得算法的稳定性更强。本文提出了一个新的属性选择算法和一个支持向量机(Support Vector Machines,缩写为SVM)分类算法。其中第二个算法弥补了第一个算法只能进行属性选择的局限性。本文的核心内容和原创点如下:(1)针对传统的group lasso只能两两分组的局限性,本文首先结合多视角学习和模糊C均值聚类提出了一种新的属性选择算法。具体地,本文首先通过模糊C均值聚类对所有的属性进行聚类分组。然后利用group lasso对每一组内的属性进行稀疏,组与组之间的属性进行不稀疏,从而有效地找到冗余属性。最后通过多视角学习进行多个视角下信息的整合,充分挖掘各个视角之间的相互影响关系。与此同时,对系数矩阵进行了l2,1-范数行稀疏,使得算法的计算量大大降低。(2)第一个属性选择算法旨在进行去除数据中的冗余属性,然后再对属性选择之后的数据集进行分类。这需要两步的过程。因此,本文设计了一种新的属性选择和分类同时进行的SVM算法。具体地,首先通过鲁棒统计学习对每一个样本施加一个权重,权重越大,样本的重要性越大,离群点和噪声样本的权重相对较小,这有效地降低了离群点和噪声对算法的影响。然后,提出了一个新的l12-范数稀疏正则项,来考虑属性的重要性,冗余属性的权重相对较小。最后,通过代价敏感学习来考虑类别不平衡数据的影响,同时避免了用分类准确率衡量算法性能的局限性。本文以稀疏学习、多视角学习和鲁棒统计学习作为核心技术。并针对不同的数据进行分类测试。第一个算法是属性选择之后,用现有的SVM进行分类以测试其性能。第二个算法是属性选择和SVM分类同时进行。在实验过程中,使用了医学类数据集、文本数据集和人工模拟数据集等,相对于对比算法,本文提出的算法表现出了较为优越的性能。
其他文献
信息技术的飞速发展,社交软件的不断涌现猝不及防的改变着人们的生活方式、思维方式、交往方式,思想政治教育领域也被裹挟其中,呈现出与以往相异的发展态势。QQ在方便人们生
近年来,由于农业生产上含重金属铜(Cu)农药的不科学施用、部分畜禽粪便中Cu含量超标以及污水灌溉等使得Cu在果园中大量富集。尽管Cu是果树生长发育所必需的微量营养元素,但是过量的Cu会对果树产生毒害作用。本研究以寒富/山定子幼苗为试材,在营养钵中沙培,分别进行60、180、300、600、900 mg kg-1的Cu处理,以Hoagland营养液中的基础Cu浓度为对照(CK),通过生理生化技术分析
有机场效应晶体管(OFETs)具有工艺简单、成本低廉的优势,在传感器、有机发光显示、智能射频识别标签、柔性显示等领域具有重要的应用前景。有机晶态薄膜被认为是制备高性能OF
大规模MIMO(Massive multiple input multiple output)技术通过将基站天线数量从几根、十几根增至几百根不等,获得了提升频谱效率,降低时延和噪声干扰等优势,并被第五代通信
在大数据时代,存储了大量可用数据进行分析以获得有用的信息,但是数据比较混乱,研究人员需要对某些数据进行分类和分区才能得到相似的数据。这一处理过程被称为聚类。聚类就
我国是一个地震多发的国家,在地震作用下桥梁结构时常遭受到破坏。壁式墩梁桥是我国市政桥梁中比较常见的一种桥梁形式,目前国内外对其研究尚存在一些不足。本文以壁式墩梁桥为研究对象,对其震害机理和地震易损性进行研究,主要工作内容如下:(1)对壁式墩梁桥震害机理进行研究,考虑到壁式墩梁桥与普通梁桥在墩柱结构形式上存在巨大的差异,本文着重对壁式墩梁桥的壁式墩震害机理进行研究。由于目前对壁式墩的实验研究较少,而
河南省大学生“华光”体育活动篮球联赛是由河南省教育厅主办,河南省学生体育总会篮球协会协办的河南省高校大学生篮球赛事。其承办单位主要由各高校之间竞选产生,主要考查各
近十年来,2μm光纤激光器因其在医疗、材料加工、激光通信和大气监测等领域所具有的独特优势而成为了科学研究的热点。多波长运行态和锁模运行态是2μm光纤激光器中应用广泛
俄罗斯境内国际过境运输的发展是“一带一路”倡议中俄中合作的领域之一。西伯利亚大铁路在国际过境的发展中起着主要作用,这是连接亚太地区和欧盟国家的铁路“桥梁”。西伯
氧化锌纳米线材料因其直接带隙和大的比表面积等特点,具有独特的光学性质和电学性质。近年来,氧化锌纳米线在众多领域中的应用被广泛研究,包括光电探测、气体传感、生物传感