基于实时存储的海量大气颗粒物在线分析系统的研究

来源 :中国科学院大学 | 被引量 : 2次 | 上传用户:maiapink
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,国内雾霾天气频发,范围广,时间长,严重影响民众的身体健康,同时也对交通、电力和农业造成的较大威胁,雾霾的治理已经引起了政府和社会的高度关注。但由于各大城市空气污染情况各异,且受到地理位置、气象条件、工业成分、城市格局等因素影响,因此治理环境污染必须对城市污染来源进行定性定量的科学研究,从而制定有明显针对性的防治措施。大气颗粒物的监测与分析是了解空气质量的重要手段,而传统的大气颗粒物分析主要依靠颗粒物总体分析技术、人工识别颗粒物类别和来源解析,这些技术手段有明显的缺陷:⑴传统的颗粒物总体分析法无法反映颗粒物内部特征,而现行基于单颗粒质谱仪的分析技术则更加科学;⑵单颗粒质谱仪每天可采集数GB数据,日积月累,数据量庞大,且颗粒物数据呈现半结构化特点,传统的关系型数据库不适用于本场景;⑶传统的人工分析手段耗时长、人工成本高、准确率低,在面临大数据量时无能为力,亟待一种颗粒物自动分析技术。本文针对传统大气颗粒物分析技术的缺陷,设计了一种基于实时存储技术的海量大气颗粒物在线分析系统,该系统由两个子系统组成,分别是基于Google levelDB存储引擎的海量数据存储子系统RyDB和基于数据挖掘的在线分析子系统。底层数据存储系统RyDB是一种KV型NoSQL数据库,采用levelDB存储引擎,支持主从复制和集群部署,用于存储实时采集或者离线收集的大气颗粒物数据;上层的在线分析系统采用自适应谐振理论(ART)网络聚类和逻辑回归分类等数据挖掘技术,实现对颗粒物数据的分类统计、来源解析等功能。经过实验测试,数据存储系统RyDB性能优异,在测试环境中每秒读写能达10万次,具有高吞吐、低时延的特点,能满足实时存储的需求;颗粒物在线分析系统的实验表明,系统时效性较强,32万组颗粒物能够在两小时内分析完毕,颗粒物分类的精确度为80%以上,满足系统需求,实现颗粒物数据的自动化分析。
其他文献
京信交换系统公司是一家从事程控交换机产品生产的企业.它的主导产品是HJD04程控交换机.随着公司的发展,HJD04程控交换机产品市场迅速扩大,客户对交换机产品的质量和服务质量
Internet计算环境,其资源总是有限的,而每个任务/服务都有其特定QoS特征的资源需求。因此无法同时为任意多个用户提供其满意的QoS服务。独占资源虽然服务质量最高,但是资源的利
  J2ME增强了手机作为数据信息终端的功能,使其具有了动态下载、自动安装、用户触发执行等特点。论文提出了以KJava手机为信息系统客户端的一种新的移动信息系统,系统具有成
随着信息技术的迅速发展 ,特别是Internet/Intranet技术的普及,使得越来越多的组织和个人的计算机系统设施和信息资源的安全受到威胁,因此,信息安全成为信息技术研究领域最重要
Markov网是类似于Bayesian网的另一种进行不确定性推理的有力工具。它是用一个无向图来表示变量之间的依赖关系。图中的每一个结点表示问题域中的一个变量,两个结点不相邻表示
随着信息技术的飞速发展,软件得到了大规模的应用,从学习、工作到生活,无处不在。同时,人们对信息化的要求越来越高,导致软件设计的需求越来越庞大,软件功能越来越复杂。因此,软件设
随着Internet的快速发展与广泛应用,构件运行支撑平台作为一类新型的系统软件,提供的功能种类越来越多,甚至为同一功能提供具有不同质量的实现.因此,构件运行支撑平台必须能
基于内容的图像检索(Content-BasedImageRetrieval,简称CBIR),是目前多媒体、信息检索、人工智能、数据库等领域共同关注的一个重要研究方向。由于传统数据模式难以描述图像等
该文则从另一个角度来分析和利用超链接信息,即利用对链接文本和链接所指向页面(必要时)的内容分析来对该链接(亦即对链接所指向的网页)进行分类.页面中的链接主要分为两类,
介绍了校园一卡通系统的设计思想和实现方案,所设计的系统综合了先进的射频IC卡技术及网络通讯技术,实现校园一卡式管理。 我国的教育事业蓬勃发展,招生规模不断扩大,在校学生