弹性分布式缓存关键技术研究与系统设计

来源 :中国科学院研究生院 中国科学院大学 | 被引量 : 0次 | 上传用户:kinds1118
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前用户数量和网络流量出现了爆发性的增长,同时Web应用和内容从静态向动态进行转变,互联网应用面临大规模用户和动态数据内容的挑战,Web系统扩展成为关键性问题,而数据的管理,特别是应用状态数据的管理,很大程度上决定了Web系统的可靠性(Reliability)和可伸缩性(Scalability)。   分布式缓存为分布式数据对象提供动态随机访问存储以及管理,是加速数据访问,并提供数据分布式共享的关键技术,该技术可以提高系统的扩展能力以及保障系统的可靠性。然而随着动态Web和云计算的出现,弹性资源供给和持续性服务保障要求的不断增高,分布式缓存在满足服务质量的基础上进行缓存规模扩展的难度大大增加。分布式缓存系统迫切需要改变目前静态的、无法保障数据可用的缓存扩展方式,而需要通过弹性伸缩增强其动态扩展的能力并保证扩展时缓存数据的访问一致性,从而适应动态计算环境以及对缓存数据的高可用性需求。   为了提升分布式缓存系统弹性伸缩能力,本文重点关注并研究了弹性分布式缓存的关键技术。在系统架构方面,论文分析并设计了一种弹性分布式缓存架构,用于适应大规模动态变化的拓扑结构:在持续性服务和数据一致性保障方面,论文通过缓存分区信息自动同步、迁移数据访问一致性保障措施、节点容错机制以及受控的数据迁移过程提供了缓存扩展过程中缓存服务访问的一致性和缓存数据的一致性保障;同时论文通过改进的分布式哈希算法,在负载均衡时增加对分区热点和异构节点的支持,适应异构服务器环境和实际数据分区访问状况。   基于上述研究和设计,论文实现了一个弹性分布式缓存系统OnceDC,包括提供高效分布式数据存取服务的缓存服务端、保证数据访问一致性的分布式缓存客户端以及统一的缓存集群管理器,同时提供了相应的监控管理工具。系统测试结果表明,该系统支持高效的缓存服务,能够提供缓存规模弹性扩展的能力,同时能够较好地解决数据分区热点的状况,适应动态变化的实际应用环境。
其他文献
随着高性能计算需求的不断增长,千万亿次的高性能计算机成为了当前高性能计算领域的研究热点。曙光6000高效能计算机系统是国家智能计算机研究开发中心正在研发的千万亿次超级
对等网络(Peer-to-Peer,简称P2P)技术发展迅速,在现代互联网和商业系统中得到了广泛应用,尤其在大规模的资源检索和内容分发系统中起到非常重要的作用。P2P网络的核心在于如何快
在现代印刷行业中,预涂感光版(Presensitized Plate,PS版)作为最主要的胶印印刷版正发挥着越来越重要的作用。其品质的优劣在很大程度上决定着印刷产品质量的好坏。而PS版面
基于图像的三维重建技术,即利用拍摄的多幅图像来重建物体或场景的三维模型,相比较利用激光扫描设备获取点云数据进行模型重建的方法,该方法对摄像机设备没有较高的要求,并且受环
随着信息传播的重要新媒介网络的产生,BBS已经成为了传播最快的公共平台之一。在这个复杂的网络环境中,社会中各种现象、问题和观点交错其中,不但存在着正面的信息,也潜存着
动画作品在当今社会中已经是随处可见,同时越来越多的人想要通过动画来表达观点或想法,人们对于动画制作的需求日益增长,不仅仅是专业的动画制作人,也包括很多非专业动画制作
软件开发环境由软件开发工具和工具集成机制构成,为软件的开发、维护及管理提供统一的支持。随着软件技术的发展,软件开发环境面临着如下问题:不能重用同领域内的可复用的知
中文信息处理技术在日常生活中有十分重要的地位,但其中的基于语义层面上的深层次相似度计算的进展却比较缓慢,目前关于汉语相似度计算的方法或多或少的存在不足,本文基于语
在深空探测中,寻找地外生命始终是一个备受关注的话题。随着科学的发展和深空探测的进一步深入,地外生命存在的问题正在被越来越多的人们所关注。深空生命探索对于生命起源和
生物特征识别技术依靠人体固有的特征进行身份验证,克服了传统信息安全技术的一些缺点,提供了一种更加便捷、安全、稳定的身份识别方法。随着信息技术的发展,生物特征识别技术逐