数据流管理系统Argus中稳定重优化模块的设计与实现

来源 :北京大学 | 被引量 : 0次 | 上传用户:yushilv
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前,关于数据流系统的研究在传感器网络、金融分析、网络流量监测等领域有着大量应用。而针对数据流本身快速、连续、时变、瞬时等特性,如何为数据流管理系统设计一个具有自适应性的查询处理机制是目前研究的热点。   本文提出了一种基于数据流周期特性的稳定重优化机制。数据流上的查询大都是连续查询,需要持续运行一段时间。而数据流是随时间不断变化的,且这些变化大都具有周期特性。通过发现这种周期性,我们能够更好更充分地估计查询计划的收益/代价比,用来指导查询的自适应调整,并使得自适应查询处理所做出的决策更具有健壮性。   我们的设计思想是,根据获取的数据流概要信息,结合时间序列分析方法,计算得到查询中的过滤算子随数据流变化的周期。在此基础上,我们设计了一种新的数据结构——查询计划缓冲池,来为系统中注册的包含选择算子的查询缓存典型的候选查询计划。这样,一旦监测模块判断出系统的运行状态进入到某个候选计划的最佳执行周期,且当前计划不再满足最优条件,就触发重优化机制,将当前的查询计划切换至查询计划缓冲池中满足条件的计划。稳定的概念是本文创新性的提出。我们在进行计划切换判定的时候,要考察两个条件,第一是要满足切换后的计划比当前计划更优;第二就是切换后的计划可以以最优或者较优的状态在系统内运行一段时间,从而避免计划的频繁切换带来的系统开销。我们设计了一种代价/收益计算模型来满足稳定的要求。针对Argus系统的特点,设计了其上的稳定重优化模块。其中,为了更有效的获取数据流概要信息,我们设计了统计信息搜集模块,并结合线性回归和小波变换方法,提出了两种数据流压缩算法。重优化判定模块利用傅立叶变换和谱分析的方法来计算算子选择度的周期,进而计算查询计划的代价/收益值。重优化切换模块通过重新调度算子序列来实现计划切换。最后,实验证明我们的稳定重优化模块使得Argus系统对于具有周期性变化特点的数据流的查询处理,性能上得到了明显的提高。
其他文献
网络聊天软件的出现极大地方便了人们之间的交流,网络视频电话(VoIP)不但具有普通聊天软件的功能,通过VoIP服务商,还能和传统电话之间实现通话。网络视频电话由于其低通话成本、
区块链技术在2008年出现,在近10年的发展应用过程中,区块链技术在数字货币、医疗、保险、数据存证领域应用广泛。在去中心化的、无信任的网络中,可靠的传递价值与信任是区块链带
无线传感器网络因具备获取和传输工作区域内目标信息的能力受到越来越多的关注与应用。拓扑控制为各节点选择适当的邻居节点,有效地降低了网络的通信能耗以延长网络的生存时
RFID即射频识别技术是一项正在蓬勃发展中的技术。RFID技术通过射频信号自动识别目标对象并获取相关数据,对带有标签的目标物体进行定位和跟踪。在物流和供应管理、生产制造和
我国有不少橘园建在山坡地上,有为数不少的山地橘园没有机动车道,肥料等农资和果品的运输都是依靠人力来完成的,人工运输方式运送效率低,劳动强度大,成本高。简易的工程索道凭借其
本文从网页质量的角度出发,以用户的浏览体验为依据,构建了网页质量评估模型。文章使用TREC的GOV2作为实验的数据源,构建GOV2上的检索系统作为实验平台,检索系统的构造包括DOM树
猪舍是猪只活动的场所,为猪只提供适宜的舍内环境,能充分发挥猪只生产潜力和保证猪只的健康生长。但是长期以来,国内的猪舍环境监控方式仍以人工为主,这种传统的监控方式具有自动
当前,对业务流程管理的重视正在影响着信息系统的构建方式。业务流程模型在信息系统构建中的地位越来越重要,同时数据模型描述了业务数据,是信息系统重要的结构模型。在很多情况
维基百科是一个自由免费、内容开放的百科全书协作计划,目前发展极为迅速。它作为人工参与构建的数据,用户参与程度高,质量好,规模大,已经成为用户检索的重要信息来源。现有的对百
随着处理器频率的提高,处理器与存储系统之间的性能差异越来越大。存储层次的设计,成为计算机系统设计中的重要研究对象。现代微处理器通常使用MMU来对内存空间进行管理。如何