分布式非关系数据库的动态数据分割

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:zymmhl
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
一方面,随着计算机技术的迅猛发展,以及传感器技术的飞速发展,人们对于信息获取能力也在不断进步,造成了业务量和数据量的爆炸式增长,这导致海量数据的大量涌现。另一方面,传统的关系数据库相关技术已经相当成熟,然而传统的关系数据库无法满足海量数据的处理。为了应对海量数据的挑战,人们提出了非关系数据库。  但非关系数据库的研究刚刚起步,许多技术尚不完善,急需改进。本文针对分布式非关系数据库提出了动态数据分割算法,同时满足服务器集群的负载均衡。非关系数据库发展至今,出现了很多典型的非关系型数据库,像Google的BigTable,Cassandra以及Apache的开源项目Hadoop使用的HBase。在分布式非关系数据库中,最常用的数据存储模型是键值对的类型。本文的研究主要针对目前比较流行,同样也是开源的非关系数据库HBase展开工作。  本文的研究内容和成果主要归纳为以下几个方面:  首先,本文介绍了非关系数据库的相关知识,其中包括各个典型的非关系数据库的优缺点以及性能分析。  其次,针对目前非关系数据库中存在的一些问题,本文提出了应用于非关系数据库的动态数据分割算法。本文从两个角度提出了数据分割算法:一种是针对非关系数据库的timestamp的概念,考虑到各行不同的timestamp版本在实际应用中的使用情况,提出一种基于row的水平数据分割;另一种是针对各个属性列不同的列簇,关键属性以及标识经常访问的阈值,提出一种基于column的垂直数据分割。  再次,在集群系统中,系统内部的异构性特点非常突出,为了更好的发挥数据分割算法的特点,针对服务器节点性能,实时状态以及数据连接数等,本文提出了应用于非关系数据库的负载均衡策略。  最后,经过实验验证,数据分割和负载均衡策略使分布式非关系数据库的整体性能有了明显提升,尤其是随着数据量逐步增加,其性能提升也越来越明显。
其他文献
自动信任协商是解决跨安全域信任建立问题的有效方法之一。协商机制是自动信任协商中重要的研究内容,它主要包括策略语言、协商策略和协商协议三个方面。但现有的协商机制研
随着军队信息化建设的逐渐完善,地理信息系统(GIS)在军事上的应用方式正在向分布式、交互式和以数据服务为中心转变。具体表现为现代战争条件下,多军兵种联合作战时的战场实
文本分类技术是解决由于互联网的迅猛发展而导致人们面临“信息爆炸而知识匮乏”问题的有效手段。文本分类往往是属于多类标分类,即单篇文章属于一个或以上的类别。多类标问
随着互联网的迅猛发展,对于电信运营商骨干网络的可靠性提出了更高的要求。然而,现有的网络几乎都是靠增加冗余的设备及链路来提高网络的可靠性,不但投资成本高而且也给网络维护
金融科技正不断推动支付方式的全面升级。大数据、物联网、云计算、人工智能等技术不断应用于支付领域,对支付领域产生了深远的影响,为我们的日常生活提供了更多的安全和便利,也为商家带来了效率和价值的提升。近些年,随着移动互联网技术的快速发展,智能终端广泛的应用和电子支付业务的蓬勃发展,多家银行开始支持网上申请和网上放贷,以消费信贷为主要功能的信用卡已经成为十分普遍的理财工具,并且借由信用卡这类消费金融,衍
学位
微粒群算法作为一种全局优化算法,由于其易用性和良好的性能,已经引起了越来越多的研究者的注意。目前关于微粒群算法的研究主要集中于三个方面,微粒群算法的理论分析、微粒
随着信息技术的发展,越来越多的数据以流的形式每天都在影响着人们的生活。数据流的连续性、潜在无限性、高速流动性等特点,使得数据流挖掘算法对数据只能是顺序的,一次或有
随着云计算的逐渐流行以及计算机硬件性能的提升,虚拟化技术正逐渐成为当前最为热门的计算机技术之一。最近几年各大CPU厂商纷纷提出了基于硬件的虚拟化技术以更好的支持完全
网络模拟是目前研究网络行为的一个重要的方法,但是由于网络规模大、复杂性高等特点,使得并行网络模拟成为了研究大规模网络行为的一种必不可少的方法。并行网络模拟系统在模
随着计算机视觉、模式识别等技术的不断进步以及人们对自身安全的重视,视频监控系统的应用得到了快速发展,其中利用计算机视觉的图像及视频中人体行走的步态进行身份识别是重