【摘 要】
:
随着信息时代数据规模急剧增长,信息量不断激增,数据信息已成为人类宝贵的财富,数据的价值已经远远超过了计算机系统本身的价值;另一方面,各种不确定因素又使得数据极易丢失,
论文部分内容阅读
随着信息时代数据规模急剧增长,信息量不断激增,数据信息已成为人类宝贵的财富,数据的价值已经远远超过了计算机系统本身的价值;另一方面,各种不确定因素又使得数据极易丢失,从而给用户带来了巨大的损失。因此,面对海量数据对存储系统各方面需求的挑战,高效率的数据存储技术受到了人们的广泛关注。为适应海量数据对存储系统各方面的需求,本文首先研究了现有的分块级数据消冗技术,比较了定长分块数据消冗和变长分块数据消冗的优缺点,分析了影响数据消冗效果的因素。接着重点研究了基于Rabin指纹的变长分块算法,提出了一种新型的文件切点查找算法。本文还根据基于分块的数据消冗技术和基于Chord的分布式存储技术的特点对文件资源定位进行了设计,并根据Chord协议的特点将文件分块的索引信息按区间分布在不同的节点中,以二级索引的方式解决了集中式分块索引的难题。本文最后提出了基于Chord协议的分布式存储技术和基于Rabin指纹的变长分块的数据消冗相结合的的分布式存储系统结构。实验结果表明,在基于Chord协议的分布式存储系统中引入数据消冗技术,可以降低整个分布式存储系统的存储负担。此外,数据传输量的减少也有利于提高低速网络下的数据备份与恢复的效率。
其他文献
在组播路由协议中,PIM-SM协议以其协议无关性、组成员显示加入的特性以及共享树(RPT)向最短路径树(SPT)切换等机制,成为了目前应用最为广泛的域内组播路由协议。但是随着网络技术的
随着互联网上信息的快速增长,信息抽取技术越来越被关注,而实体关系的抽取又是这些任务中非常重要的一个子任务。经研究发现由于传统的实体关系抽取技术面向句子级,只在一个
低秩矩阵近似,是机器学习、数值优化、理论计算机科学等领域的重要研究方向。它既有严格的理论基础,在实际问题中,也有着广泛的应用。低秩矩阵近似的本质是利用高维空间中的
云计算使用海量资源快速为用户部署和执行资源密集型任务,但是一批新应用在要求大量计算资源的同时,也需要极低的交互延迟。由于广域网的限制,用户设备与云数据中心的交互延
随着现代科技的飞速发展,手机的存储容量快速增大,手机中存储数据的种类和数量也成爆炸式增加,如何快速、准确的将用户需要的信息呈现出来成为一个急需解决的问题。然而由于
当前,多媒体应用越来越广泛,多媒体技术发展迅速。视频编码技术深入生活的方方面面。随着高清技术的发展,高清终端显示设备的应用越来越多,而标清视频广泛存在在视频的各种资
数据仓库作为一种分析型的数据环境,越来越受到人们的重视。数据仓库与操作型数据库环境相分离。相对于操作型环境而言,分析型环境对数据查询的速度提出了更高的要求。相对于
贝叶斯学习作为机器学习的重要分支,为解决数据的建模问题提供了一种重要的方法。其中的稀疏贝叶斯学习算法凭借其概率的预测和稀疏的模型等特点,成为机器学习中的经典算法之
问答是自然语言处理和信息检索领域的一个重要研究分支,它融合了多种自然语言处理和信息检索的相关技术,是比搜索引擎更人性化的向人们提供所需信息的一种手段。受社会的不断进
随着H.265、AVS 2等新一代视频编码标准制定工作在国际和国内的同步展开,视频编码技术正在步入新的快速发展阶段。新一代视频编码标准对混合编码框架的性能提出了更高的要求