【摘 要】
:
随着计算机网络、数据库、多媒体等技术的飞速发展和日益普及,越来越多的应用系统产生了海量的流式数据。这些流式数据中包含着大量的信息和知识,因此对基于流式数据的联机多维
论文部分内容阅读
随着计算机网络、数据库、多媒体等技术的飞速发展和日益普及,越来越多的应用系统产生了海量的流式数据。这些流式数据中包含着大量的信息和知识,因此对基于流式数据的联机多维分析提出了需求。
基于流式数据的流式立方体(Stream Cube)为流式数据的联机多维分析提供了可能。流式数据立方体在传统数据立方体的研究成果上,面临新的挑战:合理控制立方体的规模、支持增量更新维护的立方体计算方法及数据一致性问题。在设计中,应结合流式数据的特点对系统进行优化,充分考虑数据的存储空间、查询响应与维护效率等因素。
本文通过深入研究现有的流式数据立方体研究成果,结合流式数据的特点,从多个角度分析并设计了流式数据立方体的优化方法,提出了统一的流式数据立方体处理框架,设计并实现了原型系统。本文的工作主要有:
1)将冰山立方体模型引入流式数据立方体中,设计了基于H-Tree的数据立方体计算和增量更新方法,该方法不仅能够通过一遍扫描来构建数据立方体,而且支持增量的更新维护;
2)设计了基于锁机制的并发控制来解决数据一致性,详细分析比较了不同锁粒度下,对于系统开销和并发性的影响;
3)设计并实现了一个联机分析原型系统StreamCube,它完整的支持对数据流进行联机多维分析;
4)通过多场景下的模拟实验,验证了本文方法对解决流式数据的联机多维分析的可行性、有效性和优越性。
其他文献
大气光学参数实时测量及管理系统主要完成近地面激光大气传输有关的参数测量,并将测量到的参数发送到上层控制计算机,及对所测量到的数据进行管理。
针对上述情况,论文
软件可靠性是度量软件质量的关键性因素,是软件使用者最为关心的问题之一。准确预测软件可靠性,有利于指导软件测试最大限度地发现软件故障,阻止失效发生,节约开发成本,提高软件质
中国互联网络信息中心(CNNIC)2010年1月发布的第25次中国互联网络发展状况统计报告指出,在3.84亿网民中,约3.21亿网民使用网络音乐应用,网络音乐以83.5%的使用率高居互联网应
文本聚类是聚类方法与自然语言处理相结合在文本处理中的应用,是聚类分析领域的一个重要研究分支。随着近年来互联网新闻文本信息的急剧增多,文本聚类的方法得到了很广泛的应
图形信息处理是包装印前领域的重要组成部分。在包装印前处理的很多方面,都需要图形轮廓算法的支持。因此二维图形轮廓算法在包装印前处理领域占有重要的地位。在包装印前领
当前的电子行业竞争激烈,大部分企业为提高生产效率都进行了企业信息化建设。虽然企业越来越重视信息化建设,但还是存在信息化技术单一、各系统集成度不高、现有软件不够灵活
过程神经元网络(PNN)是人工神经元网络的一种泛化模型。一个能有效训练PNN网络结构和权函数的学习算法是发挥PNN强大逼近能力的关键。PNN的现有学习算法主要基于“正交基函数展
近年来,随着Internet的普及与多媒体技术的迅猛发展,人们面临着爆炸式增长的视频信息。在这些海量视频之中存在着的大量相似视频,一方面造成了多媒体数据库的冗余,要求更加巨
本课题重点研究基于径向基函数(RBF)神经网络的动态流量软测量建模方法及实用化技术。针对液压伺服系统中对动态流量软测量模型实时性和精确性的要求,对RBF神经网络建模算法
随着信息技术的发展,三维GIS在地质、矿山、数字城市等各个领域的应用越来越广泛,也带来了一场信息化的变革,尤其是改变了长久以来人们对于各地质对象的表达方式。
空间实