基于HDFS的文件备份技术研究

来源 :中国科学院研究生院 中国科学院大学 | 被引量 : 0次 | 上传用户:yushion
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着虚拟化技术的广泛应用,虚拟机开始广泛应用于各种数据中心和高性能计算平台,因此对虚拟机的物理载体--虚拟磁盘文件的备份需求也越来越强烈。传统的文件同步技术如rsync、RDC等在低带宽、文件尺寸较小的情况下具有较好的性能,但是在高带宽、文件尺寸大的情况下同步的速度有可能比直接通过网络传输整个文件还低。同时,在没有专用硬件存储设施的条件下如何解决备份的可靠性问题也需要考虑。   本文针对Vega Lingcloud课题组对大尺寸的虚拟磁盘文件同步的需求,提出了一种新的同步算法fsync,经实验测试,在同步GB级的虚拟磁盘文件时其同步时间开销比同类算法下降了30%~50%。基于fsync,本文结合Hadoop分布式文件系统设计并实现了一个分布式备份系统HD-fsync。该系统支持全量备份和差量备份,测试结果表明系统备份速度快,具有良好的备份一致性和可靠性。
其他文献
随着互联网的普及和电子商务的飞速发展,网络上的商品信息严重“过载”,用户很难在大量的商品信息中找到真正需要的商品。电子商务推荐系统根据用户个人的习惯和偏好向用户推荐
进入21世纪以后,教育信息化程度将是衡量一个国家教育现代化程度的重要标志。经过多年建设,我国在教育信息化方面已经取得巨大成就。但是,由于我国幅员辽阔,人口众多,区域之
随着数据的爆炸式增长,分布式网络存储系统以高性能、高可靠性和大容量的优势成为当今研究的热点。为了在提高系统可靠性的同时降低容量开销,将传统集中式RAID技术引入分布式网
计算机视觉的目标是通过感知的图像理解世界中的各种物体。需要理解的物体的属性信息众多,其中最重要的信息是物体的整体三维结构,所以基于视觉图像的三维重构自从计算机视觉
功能验证是芯片设计流程中最复杂、最耗时的工作,面临的最主要挑战是如何在有限的时间和计算资源的约束下,暴露尽可能多的设计错误,以提高对芯片功能正确性的自信程度。微处理器
随着计算机飞速发展以及互联网技术的普遍应用,互联网的安全问题也日益突出,而面对日益严重的互联网安全问题,传统的基于被动的互联网防御技术由于其对攻击者了解不足,再加上
图像拼接技术是扩大图像视场范围应用的一项必不可少的关键技术。但现有的图像拼接技术研究大都对800x600以下的图像进行研究,为了提高图像拼接技术的实用性,本系统针对大分
P2P流媒体是目前互联网的热门研究话题,但是现有的P2P流媒体应用存在用户体验差的问题,表现为启动延迟大、播放延迟大、播放持续性差、画面质量不高等,而造成这些问题的根本
作为工业制造装备的执行机构,伺服系统性能直接决定着整个装备的控制性能。目前高性能伺服领域被国外厂家所垄断,研发具有自主知识产权的高速高精度的伺服系统具有重要意义。课
内存访问延迟一直是制约计算机系统整体性能的瓶颈,计算与存储之间性能上的鸿沟导致CPU的运算能力因访存操作而产生大量的空等时间。Cache技术可以有效地缓解或隐藏存储访问