达梦DM7水平分区加速对海量数据的处理

来源 :中国计算机报 | 被引量 : 0次 | 上传用户:liweibin522
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  在当今信息大爆炸的时代,对海量数据的处理能力是衡量数据库数据处理能力的重要指标。为了提高数据库对大数据量进行处理的性能,达梦DM7采用了水平分区技术。水平分区技术可以更好地满足企业级应用对大数据量处理的性能需求。
  支持三种水平分区方式
  水平分区是指按照设定的边界值把数据行映射到不同的分区中。
  达梦DM7支持三种水平分区方式,包括范围分区、哈希分区和列表分区,每种分区方式都有其适用的场景。技术人员可以根据系统数据分布的特征和应用需求,选用合适的分区方式,然后设置每个分区的存储参数,以满足均衡I/O、降低维护成本和提高查询性能的要求。
  下面分别对DM7支持的三种水平分区方式进行阐述。
  范围分区 范围分区是指按照分区列的范围值,把数据行映射到不同的分区。这种分区方式适用于数据行按照某种范围值进行分布的应用。例如,产品销售表可以将日期列按月、季度或年划分,然后把同一时间段的数据集中存储,这样便于进行统计分析。
  哈希分区 哈希分区是指按照分区列的哈希值来确定数据行映射到哪个分区。这种分区方式适用于数据分布没有规律,并且需要数据均匀分布的应用。用户通过在不同的I/O设备上进行散列分区,可以使得每个分区的大小基本保持一致,从而达到均衡I/O的目的。此外,用户还可以指定每个分区的名字,或直接指定数目来创建分区。
  列表分区 列表分区是指按照分区列的离散值集,把数据行映射到不同的分区。这种分区方式适用于数据分布不连续,且数据行在分区列的部分值集中分布的应用。产品销售表可以把地区列作为分区列进行划分,比如将直辖市(北京、上海、天津等)作为一个分区,或将省会城市(武汉、西安、成都等)作为一个分区,以此为依据来统计产品在不同区域的销售情况。
  除了具有支持分区表的基本功能以外,DM7还对分区表的Alter操作也进行了扩展。分区表的DML操作通常包含一个或几个分区子表,各分区子表之间相互独立,如果能够并行处理分区子表,就可以提高对分区表的查询效率。基于性能优化的考虑,DM7实现了水平分区的并行查询。DM7可以根据服务器CPU的数目、分区表涉及到的子分区数目以及分区的成本来确定查询的并行度,无需用户干预即可实现并行查询,以满足用户对大数据量数据查询的性能需求。此外,对于数据库管理员(DBA)等有经验的用户,DM7也支持通过参数来控制并行度。
  水平分区的三大优势
  水平分区具有三大优势。第一,水平分区可以提高可用性。由于每个分区具有一定的独立性,如果某个分区损坏,其他分区仍是可用的。只要DML操作不涉及到损坏的分区,就不会影响系统运行。用户可以在空闲时间对损坏分区进行修复。
  第二,水平分区可以降低维护成本。由于每个分区都是一个独立的对象,用户可以单独处理,对大表的维护也可转换为对小分区的维护,从而大大降低维护成本。对于大数据表来说,如果对单个子分区进行备份和恢复,就可以大大减少数据备份和恢复的时间,还可以实现更有针对性的数据维护。
  第三,水平分区可以提高查询性能。当一个查询涉及多个分区扫描时,由于每个分区的扫描是相互独立的,DM7会启动并行执行扫描方式,即结合系统的一些运行参数和需要扫描的子表数目,生成适当的扫描子任务,然后放入任务队列中进行并发处理。水平分区表并行查询在性能方面有较大优势。测试结果显示,水平分区表并行查询的性能比普通表查询的性能平均提高26%,比水平分区无并行查询的性能平均提高30%。
  例如,在TPC-H标准测试中,以Q6为例,对Lineitem表进行单表查询,包含4个过滤条件。在相同的测试环境下,普通表查询耗时996毫秒,水平分区表并行查询耗时420毫秒,水平分区表无并行查询耗时905毫秒。从测试结果可以看出,并行查询的性能比普通表查询的性能高57.8%,比水平分区无并行查询高53.6%。
  总而言之,DM7支持范围、哈希、列表三种水平分区方式,可以满足实际应用对大数据表操作的性能需求,并且基于将数据分而治之的设计思想,使得水平分区表的管理和维护变得更简单。在分区表的DML操作中,结合并行查询技术,可以大大提升操作的性能。
其他文献
美国康普国际控股有限公司      随着网络应用的数据大集中发展趋势的出现,数据中心布线正成为金融、大中型企业、医疗等数据流和信息流比较大的行业的重要基础设施,也对用于布线管理的智能配线系统提出了更大的要求和需求,希望智能布线系统在降低公司硬件设施成本的同时能保障企业信息流的安全。  SYSTIMAX iPatch 实时基础设施管理系统能帮助您了解您的物理基础设施是如何配置的, 帮助您控制您的网络
摘 要:在現代体育教学中存在一些问题,比如体育教学不受各个高校的重视、高校体育教学设施不完善等。这些问题的产生均影响了高校体育教学的质量和水平。高校想要提升课堂的教学效果就应该积极研究影响高校体育教学信任环境的因素,进而提出相应的策略。本文介绍了体育教学中存在的问题,从影响体育教学信任环境因素的角度出发,制定了优化体育教学信任环境的策略。  关键词:高校体育教学;信任;教学环境  高校体育教学和信
摘 要:利用数字影像保护非物质文化遗产是一种比较有效的做法。我们要充分认识数字影像保护非遗的价值的基础上,坚持互相印证、主次分明、要素完整、减少人为干扰等原则,通过数字影像技术来保存非物质文化遗产。  关键词:数字影像;非物质文化遗产;价值;原则;策略  非物质文化遗产(简称非遗)的保护工作是一个长期而复杂的系统工程,我们可以采取传统的口传心授、收徒授业的方式进行保护传承,也可以运用数字化、信息化
如何把爆棚的人气转换成盈利,是摆在婚恋网站面前最大的难题。  这两年风险投资最关注的热门行业是什么?婚恋网站无疑是其中之一。世纪佳缘、百合网、嫁我网、中国交友中心等网站都宣布从风险投资商手中得到少则数百万,多则数千万美元的斩获。  据艾瑞咨询统计,到2006年末,中国网络交友网站已接近1000家,并有16家网站获得了近1亿美元的风投资金。  在风险投资商纷纷看好的背后,是强大的市场需求。根据CNN
上海顺凯信息技术股份有限公司是一家专业从事建设工程行业信息化产品服务与技术研发的高新技术企业。公司以“专业、专注、服务”为宗旨,以“创造智慧工程”为目标,聚焦城市安全管理,面向政府和行业主管部门、设计院、项目投资业主、施工企业、监理,以及设计单位等客户,提供专业的软、硬件产品和信息化整体解决方案。  越来越多的城市面临着公共安全、交通拥堵、环境污染等问题,城市建设发展需要有新模式和新技术来支撑。“
云软是一家年轻的、富有责任感、勇于创新的互联网公司,致力于为企业提供更灵活、更安全的SaaS应用服务,让中国更多的企业以更低的成本获得以往大企业才能使用的软件服务,让移动互联网时代的沟通更有效率和价值。  云软基于国内社交入口微信和QQ平台,依托技术创新和资源整合,以呼叫中心、即时通信工具整合为核心技术,为企业提供即时部署、快速集成的SaaS应用服务。同时,云软还为企业提供开放的接口、灵活的定制服
内容摘要:在当前司法不公现象较为严重的情况下,承认检察监督的相对合理性,使审判监督制度有其存在的法律理论基础。建立审判监督制度是完善法律的重要内容,是实现依法治国的根本途径。因而,对于审判监督不仅不应当弱化,还应当进一步加强。  关键词:检察机关 审判监督 改革与完善    一、当前我国民事审判活动监督的现状    对于民事检察监督,现行《民事诉讼法》在先后两个方面作出了规定:一是总则,将检察
暑假终于来啦!  这次我带你们去热带雨林!  好耶! 本文为全文原貌 未安装PDF浏览器用户请先下载安装 原版全文
12年《刑事诉讼法》实施在即,修改后的刑诉法更加强调程序公正、人权保障、侦查公开等内容,给检察机关的职务犯罪侦查工作带来了新的巨大的挑战。而检察机关目前面对的职务犯罪形势却并没有缓解,侦查工作中曾经遇到的老问题仍然存在。因此,如何确保现有的反腐局面并继续开展职务犯罪侦查工作,成为了各级检察机关急需解决的难题。  一、职务犯罪侦查工作面临的局面  (一)新刑诉法对职务犯罪侦查工作的挑战  1.充分体
在小学语文教学中,古诗教学是师生共同面对的教学重点和难点。古诗传递着我国千百年来的民族精神和气节,是我国优秀历史文化的记录。随着课程改革的不断推进,在小学语文教学过程中,教师不应只关注学生对古诗的背诵情况,更应该传授学生古诗鉴赏的能力,让学生感受古诗的内涵,体会诗人进行创作时的思想感情。  一、抓住诗眼,鉴赏诗词  诗人作诗时多是希望一字传神、一语惊人的。通过一个字或者一个词来传递整首诗的主题。诗