基于分区的并行查询优化器的研究与实现

来源 :中国航天第二研究院 航天科工集团第二研究院 | 被引量 : 0次 | 上传用户:huohuonan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据库管理系统作为一类主要的基础软件,由于它的安全特性、统一标准、高性能以及高可用性等优势,在信息技术所涉及的诸多领域都发挥着极其重要的作用。在很多应用中,对数据库的查询性能要求很高,为了满足这些高性能需求,一个有效途径就是为数据库管理系统增加并行处理的功能。将数据处理过程并行化,充分利用近些年迅速发展起来的并行硬件资源,能够达到提升处理速度的目的。  在国外几个主要的大型商用数据库中,都已经实现了并行查询的功能。然而,国内数据库产品起步较晚,并行数据库产品和国外相比也有很大差距。神通数据库是由天津神舟通用数据技术有限公司自主研发的。它实现了简单有效的静态并行机制,查询的并行化由数据表的静态分区特性决定,并行查询计划以及处理器的分配均由优化器一次性完成,执行器直接根据并行计划对处理器进行调度,以实现磁盘IO和计算的并行化,然而这种并行查询过分依赖于物理表的分区特性,且查询任务的并行化往往并不彻底。本文的目的则在于:对神通数据库现有的并行机制进行改进,使其支持中间结果的动态分区以及相应的多处理器调度,更充分的利用系统资源,从而获得更高的查询效率。为实现这个目标,本文主要做了以下几方面的工作:  首先分析并论述了课题的来源以及意义,从并行查询相关的数据分区以及查询优化,对国内外主要数据库产品做了调研,并对神通数据库的现有并行查询功能做了深入的调研。在此基础之上,确定了本课题的主要研究内容。确定了基于神通数据库系统的并行查询系统的整体框架及其实现架构。设计并行查询的执行器以及优化器的整体框架和实现流程。  对关系数据库的分区技术进行了简要的介绍,并分析了各种分区策略对实现并行查询的重要意义。然后结合本课题所确定的并行查询体系架构,确定了本课题所采用的分区策略。分析了几个主要的物理算子实现原理,并在此基础上设计了各自的并行化方案。  从提高资源利用率的角度出发,提出了本文基于神通数据库并行架构中采用的两种关键技术:分段并行技术以及分层并行技术。分别从IO瓶颈和内存瓶颈两个方面,分析并设计了分段并行与分层并行各自的实现方案,并结合其性能特性,设计了并行查询优化器中的任务树结构模型,并根据该代价模型给出几种启发式策略以及顺序优化算法,并将这些策略和算法以及神通的顺序优化器结合成一个并行查询优化器,在神通数据库上完成了原型设计和实现。  本课题研究内容的正确性及有效性经过标准的实验验证得到了证明。  最后,总结了课题的主要研究内容和几个创新点,并指出了目前存在的不足,并对更深入的研究做了展望。
其他文献
微光图像通常是指在照度小于0.1勒克斯(lux)的环境下获取的图像。微光图像因其在夜间等低照度条件灵敏的成像能力,已经在军事侦察、公安反恐、航天遥感、安防监控等重要领域发
药物协同是指不同药物相互合作以增强疗效的一种相互作用关系,在药物研发领域内具有重要的研究价值。癌症、艾滋病等复杂疾病通常由多种因素导致,涉及到多个生物环节的异常或改
语义角色标注是一种自然语言处理领域的浅层语义分析技术。它以句子为单位,分析句子中的谓词与其相关成分之间的语义关系,进而获取句子所表达语义的浅层表示。由于语义角色标注
专家系统是使用专家知识来提供建议辅助人类决策的智能软件系统,自专家系统开发以来得到迅速发展,各种专家系统开发工具也随之出现,减小了专家系统的开发难度,CLIPS是这些工
随着互联网技术的不断发展,网络应用已经越来越广泛,同时,越来越多的人希望在移动的过程中高速地接入互联网,获取急需的信息,完成想做的事情。但是面对着客户需求的多样化,网络环境
云计算是新一代信息技术产业的重要组成部分,是继个人计算机、互联网之后的第三次信息技术浪潮,将引发信息产业商业模式的根本性改变。网站云是一种多租户的云部署架构,是云计算
随着移动互联网、移动设备以及物联网的发展,基于精确位置的服务促进了个人导航、物品搜索、机器人控制、娱乐游戏等行业的快速发展。目前,工业界和学术界做了大量努力,希望能够
学位
数控技术是利用数字信息对机械运动和工艺过程进行高性能的自动控制,极大地提高产品加工质量、加工精度和工作效率。数控技术正朝着性能上高速度、高精度;结构上开放化、网络化
软件即服务(SaaS)是一种新型的软件应用模式,也是当前很多研究的热点问题。在该模式下,服务提供商负责提供必要的硬件基础设施和软件运行服务平台,租户使用简便的定制功能在服务