基于主动学习的数据修复技术研究

来源 :东华大学 | 被引量 : 0次 | 上传用户:hongniba3493
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的发展,各行业均产生了海量数据,对其进行合理分析可以提供有效的决策帮助。这些工作需要建立在高质量数据的基础上,劣质数据往往会对分析结果造成严重影响,带来巨大损失。目前,由于硬件性能、拼写错误等因素影响,获取的数据中往往存在不一致、不完整等问题。因此,在管理和分析数据之前需要对劣质数据进行修复。大多数现有的修复方法侧重于提供自动化的解决方案,通过启发式方法对数据进行最小修复,存在过度依赖领域专家和不能保证修复精确性等问题。此外,不加入额外的知识以及不全面的规则定义都会降低修复的精确性。
  本文研究让用户参与修复过程,由用户主动探索数据,而不是预定义修复规则。研究了Falcon算法,通过泛化用户修改单个元组的动作产生修复更多数据的规则,并与用户交互保证修复的精确性。同时,针对 Falcon 算法过度依赖用户的问题,通过在修复过程中应用主动学习算法,使用获得的高精度收敛分类器代替用户修改元组,减少了用户的工作量。
  首先,深入研究了 Falcon 算法,以用户对一条元组的修改为引导,生成一组可能用于修复数据的候选规则集,将其构建为格,并从中选择候选规则由用户验证其有效性。针对 Falcon 不能有效比较格中不同路径中的规则的问题,本文设计了基于数据增益的搜索算法,以验证格中规则带来的数据增益为标准,从格中选择规则与用户交互,由用户验证规则的有效性,快速地提高数据质量。
  其次,针对Falcon算法过度依赖用户的问题,在修复过程中引入主动学习框架,使用获得的高精度收敛模型预测属性的更新值,代替用户对元组的修改,从而降低用户的参与成本。首先基于相似度确定发生错误的属性,然后结合共轭梯度的思想提出主动增量学习算法,利用每次迭代中由用户确认正确的一批数据增量地更新基准模型,直至收敛。最后为加快模型收敛,本文给出一种度量准则,衡量元组对改善模型的贡献,优先选择贡献大的元组进行修改。
  最后,本文在 UCI 的公共数据集和某三甲医院的真实医疗数据集上进行实验,以算法收益 BNF 和数据质量损失验证交互式修复方法的有效性,使用准确率、召回率、F-score验证增量更新模型以及选择算法的可行性。实验结果表明,将候选规则集构建为格可以对其有效地剪枝,避免冗余访问,而且本文的搜索算法明显优于传统的遍历算法(BFS和DFS)。与主动学习重新训练模型的方法相比,本文的增量学习算法得到的收敛模型的性能更好。与基于最优标号和次优标号(Best vs. second-best, BvSB)的主动学习方法和随机选择方法相比,本文的选择算法可以加快模型收敛。与典型的基于约束和统计的修复算法相比,本文算法在运行时间和准确性上都有明显优势。
其他文献
摘要:在指导中学生进行科技创新的过程中,我采取了选择可行的目标、组织学习小组,制定创新方案、实施方案、组织人员试用,反馈信息、完善作品等方法,取得了良好的效果。关键词: 目标、创新方案、实施方案、试用、完善中图分类号:G4 文献标识码:A引言:近年来,我指导学生在科技创新方面取得了一些成绩。在潜江市第十三届青少年科技创新活动中,毕璐瑶同学获得了市政府二等奖;李昌远同学在湖北省中小学自制教具评选中也取得不错成绩,下面具体谈谈我的一些做法。一、选择可行的目标由于各门学科特点不同,学生创新的目标也不一样。化
期刊
摘要:高中生物作业布置是高中生物课堂教学的重要环节,它是学生对新知识的预习、对当节课所学内容的巩固和教师对课堂质量进行检测的重要方法。然而,不断地刷题重复训练、机械地死记硬背等作业形式,不仅抑制了学生学习生物的兴趣,还限制了学生的思维个性、创造力的发展。因此,为避免这些情况的发生,教师应当设计新颖且有效的作业形式,提高学生学习生物的兴趣,促进学生的个性和创造力的发展。关键词:高中生物;生物教学;作业设计中图分类号:G4 文献标识码:A根据新课程标准的要求,教师在不断地改革、创新自己的教学方式。从小学开
期刊
摘要:高中物理学科知识普遍较为抽象,因此对于动手实验验证的要求既高又频繁,也就是学生将在物理实验教学中受益,拥有较多验证抽象知识规律的机会。据此,高中物理教师应当及时进行实验教学效果改善的探讨,现基于这一要求,提出学生主体、丰富体验与创新指向几个方面的建议。关键词:高中物理;实验教学;创新中图分类号:G4 文献标识码:A物理知识大多是以实验为基础的,对于物理实验教学教师多采用讲授的方式,这样的教学形式使学生很难掌握相关的物理知识。新课标明确指出要通过课堂教学,提升学生的核心素养,实验教学给学生提供了动
期刊
摘要:英语作为世界通用语,是我国在校教学的一门重要语言学科,具有重要培养价值。素质教育背景下,对初中英语教学要求提高,需要教师积极进行教学优化,培养学生核心素养。因此,教师应该积极开发和利用微课程资源,为学生打造高效英语课堂,以激发学生的学习兴趣,提升学生的自主学习能力,进而提升学生的英语核心素养,实现教学目标。关键词:初中;英语教学;成绩;策略中图分类号:G4 文献标识码:A随着时代发展,社会对人才的培养要求越来越高,全面素质型学生的培养与社会需求型人才培养相接轨。结合实际教学和课程标准,对认知策略
期刊
摘要:教材习题是教学中非常重要的资源之一,它会对学生的实际学习效果产生非常重要的影响。人教A版教材中的习题大部分是根据教学大纲的要求设计的,这些习题经过教材编写者的精心研究,更加符合学生的实际学习特点,也基本反映出教学大纲对学生知识掌握程度的基本要求,教师在教学中引导学生进行教材习题的解答会有更强的代表性。关键词:新课标;高中数学;课后习题;现状;对策中图分类号:G4 文献标识码:A一、教材习题设计的主要特点(一)习题的设计更加丰富多样相比于以往教材中单一的题型设计,经过改革后的教材习题设计最大的亮点
期刊
摘要:花样跳绳作为一种新的体育项目,能够激发学生参加体育的兴趣,能够提高教师的教学效率,相关学校和教师应该积极发挥该项目的积极作用,将其融入农村寄宿制小学体育教学中,促进农村寄宿制小学体育水平的提高和全面发展。关键词:农村小学;寄宿制;花样跳绳中图分类号:G4 文献标识码:A农村寄宿制小学教师在小学体育教学中给学生开展花样跳绳教学,有效训练学生身体协调性与平衡性,提升学生体力、耐力、弹跳力,让学生在花样跳绳中感受体育运动带给自身的成长与乐趣,激发学生体育锻炼兴趣,帮助学生树立终身体育意识。为体育课堂注
期刊
摘要:近年来,在素质教育不断发展的背景下,情境教学模式作为最具创新的教学模式,被广泛应用到各个阶段、各个学科的教学环节中,都收获了非常不错的效果,尤其是其带给学生的良好体验,让学生可以从更多多元的角度去进行知识学习,这让教育工作变得更为科学、高效,素质教育目标的实现也因此更进一步。关键词:小学语文;古诗词;情景教学中图分类号:G4 文献标识码:A小学时期,学生年龄小,借助情境教学,可以充分带领学生入情入境遨游于知识海洋。学生走进知识背后,爱上探索知识的过程,进一步提高了学生的学习能力与学习水平。学生在
期刊
摘要: 《关于进一步减轻义务教育阶段学生作业负担和校外培训负担的意见》(以下简称“双减”)提出,要全面压减作业总量和时长,减轻学生过重作业负担。英语学习的完成离不开预习工作。预习可以帮助学生提前了解所学的知识,同时对于自身薄弱环节进行巩固。老師、家长对于预习要相当重视,引导学生进行正确的预习,提高上课效率,节约宝贵的学习时间。本文就“双减”下初中英语预习作业的设计提出了一些方法,仅供参考。关键词:“双减”;初中英语;预习作业;设计研究中图分类号:G4 文献标识码:A“双减”背景下优化初中英语作业设计,
期刊
摘要:信息技术的价值逻辑主要体现在教育理论创新的两个方面。内在逻辑是人的主体性的存在,外在逻辑是教育时空生态的变化。信息技术为教育理论的进一步发展创造了支撑条件。知识增长为教育理论传播提供了知识源泉,技术变革为基础教育理论创新提供了催化剂。信息技术在教育理论创新中的重要表现是师生关系的深化发展和学习者身份的多重差异。关键词:信息技术;教育教学;作用分析中图分类号:G4 文献标识码:A在传统的课堂模式中,大多数学生被动地接受知识。教师作为班级的主体,控制着整个过程和方式。大多数情况下,老师解释有问题的信
期刊
摘要:《幼儿园教育指导纲要》中指出:“环境是重要的教育资源,是幼儿赖以生存的物质基础,我们应为幼儿创设良好的环境,有效地促进幼儿的发展。”幼儿园读写区环境创设尤为重要,应为幼儿创设一个生活化的活动环境,让幼儿积极、主动地投入。如何打造有助于幼儿获得有益经验的读写区域,我在中班读写区创设中做了一些实践。关键词:生活教育;读写区;儿童;自主中图分类号:G4 文献标识码:A《纲要》中明确指出:“环境是重要的教育资源,是幼儿赖以生存的物质基础,我们应为幼儿创设良好的环境,有效地促进幼儿的发展。”幼儿园读写区环
期刊