大数据质量管理:问题与研究进展

来源 :人民文摘 | 被引量 : 0次 | 上传用户:liongliong482
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  当前大数据对科学和产业产生了巨大影响,大数据的质量对其有效应用起着至关重要的作用。大数据的规模性、高速性和数据来源及形式上的多样,使数据有更大可能产生不一致和冲突。这些都导致大数据存在质量问题,需要对大数据进行质量管理。目前大数据的质量管理包括:实体识别和基于规则、基于主数据的错误发现等。然而,大数据的特点为数据质量管理带来很多技术挑战。众多学者提出了解决方法:针对计算困难,采取并行化技术实施数据质量管理,为数据清洗设计线性、亚线性的算法;针对混杂错误,进行复合类型错误的检测和修复;针对知识缺少,通过众包技术进行数据质量管理。但是,大数据质量管理仍存在不足:缺乏对数据质量多维度相互影响的深入认识,尚无高效数据错误检测与修复算法设计,劣质数据近似计算理论与算法有待进一步研究。
其他文献
是怎样的缘分,才会让两个人一路走来变成一家人?很多人都知道,我跟谢杏芳的爱情几乎贯穿了我的职业生涯,但却不知我从见她的第一眼起,就已对她一见钟情。  初见你的温柔  我和谢杏芳的故事要追溯到15年前,我还在打全国青少年锦标赛时。有一天,我跟队友一起在看台上看比赛,他们就指着远处一个女孩说:“你看,广东队那个女队员,叫谢杏芳。”当时阿芳好像还在打双打,她剪着一头利落的短发。我们在看台上一片惊呼:“哇
摊贩治理,并非城市化进程中无法克服的“中国难题”,世界各地都曾经历过失业人群“摊贩化”,经历过从排斥驱逐到认同疏导。非法化小摊贩和激烈的取缔,各地也曾发生,但国家以正式制度驱使数百万官员与数千万摊贩进行长达二十余年流泪加流血的“都市游击战”,无论其规模还是其惨烈程度都属世界史上罕见。治理小摊贩并不难,各国有着近乎共同的答案,要旨是:(1)合法化小摊贩,划定区域和时段,让其有序经营;(2)成立小摊贩
在中国,“保健品”是一类很独特的商品。一方面,许多人,尤其是老年人和时尚女性趋之若鹜,不惜血本,希望从中获得“治病强身”的功效。另一方面,又有许多人断言“所有的保健品都是骗子”,恨不得置之死地而后快。保健品到底是什么样的一类东西,我们又该如何来看待它们呢?  首先,“保健品”这个名称本身就有很大的误导性。消费者喜欢“顾名思义”,而这个名称正好产生了“吃了它就会有保健功能”的暗示。在国外,它们被称为
近日,国家发展改革委发出通知,决定从2012年10月8日起调整部分抗肿瘤、免疫和血液系统类等药品的最高零售限价,共涉及95个品种、200多个代表剂型规格,平均降价幅度为17%。  在目前不少商品看涨的趋势下,药品又一次的下调价格,这确实非常难得,但是从以往近30次的药品降价看,效果并不明显,普遍“没感觉”,此次降价能否让公众“有感觉”?  本来药品的价格高低掌握在药品生产者手上,由不得自己,下游要
1975年年底,上海華东医院住进一位85岁高龄的瘦弱老人。他脸色黝黑,头发稀疏,由于双颊深凹,使原本突出的颧骨显得更加凸出了。  他便是陈望道,著名的学者、教育家,上海复旦大学校长,又是资深的革命家;他是《共产党宣言》中译本最早的译者。早在1920年,他便是中国共产党上海发起组的成员。正因为这样,在全国第一届文代会上,周恩来当着他的面,对代表们说:“陈望道先生,我们都是你教育出来的!”周恩来的这句
在南京市北郊的燕子矶地区,曾分布着上百家化工企业,为南京带来了“化工摇篮”的美誉。然而,随着城市的发展,该化工产业基地逐渐和居民区交错混杂,在带来严重环境危害的同时,也桎梏了整个城市的可持续发展。近年来,燕子矶地区不少工艺落后、污染严重的企业已被依法关停。大批污染企业搬走了,留下的却是一片片不堪入目的狼藉之地。这些动辄上百亩的宝贵土地资源,能否通过土壤修复的方式,再次以干净无害的姿态出现在市民面前
如果我国的废旧纺织品全部得到回收利用,年可提供的化学纤维和天然纤维,相当于节约原油2400万吨,超过大庆油田产量的一半——中国纺织工业联合会测算的数据,曝出惊人的旧衣浪费。  一面是巨大的浪费,一面是资源的紧缺。衣物捐赠日陷尴尬,回收又“无门”,旧衣处理已成为节约型社会的一道重要考题。  浪费惊人:甩不掉的“包袱”  “新三年,旧三年,缝缝补补又三年”的节衣缩食年代已经一去不复返。如今,几乎每个家
洋人不过春节,但确实有“春运”,而且一点也不比中国的客运流量少,那就是圣诞节和元旦新年期间,我们姑且也称之为“春运”。比如说圣诞节,就会给许多西方国家造成不小的运输压力,也会上演高速公路大塞车,大量航班晚点的尴尬事。  美国:错开出行高峰  美国从感恩节到圣诞节这段时期是美国家庭团聚的大日子,同样是美国交通最繁忙的一段时期。一项调查显示,美国到感恩节和圣诞节这段时期回家过节或者外出旅行有80%的人
国家发改委网站2013年2月16日发布第21号令,调整了《产业结构调整指导目录(2011年本)》的有关条目,将“一次性发泡塑料餐具”从淘汰类产品中删除。  被视作“白色污染”而禁产禁用14年的一次性发泡餐具,于5月重回市场。  此消息一出,消费者、生产厂家议论纷纷。  解禁原因不太明朗  “21号令”未对从淘汰类产品中删除发泡餐具的原因给出解释。  虽然发改委为何解禁发泡餐具目前不得而知,不过值得
中国新一轮改革的路径究竟如何?谁在参与设计这幅改革蓝图?这是人们普遍感兴趣的话题。  据媒体报道,2013年5月,国家主席习近平曾向来访的美国国家安全顾问多尼隆介绍身边的一位“身材高大、有着学者风度的助手”,说:“这是刘鹤,他对我非常重要。”该报道认为,刘鹤的工作是“勾勒中国的经济前景,而这一前景将指导中国未来10年的行进方向”。  刘鹤是谁?  低调务实的高层智囊  刘鹤,中共十八届中央委员、中