万兆网络环境下的网络格存储性能问题研究

来源 :中国科学院研究生院 中国科学院大学 | 被引量 : 0次 | 上传用户:nacle
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
万兆广域网环境的不断普及与新一代高能物理计算、存储需求的不断增长给网格存储服务带来了新的挑战。特别是在目前已经广泛运行的大规模的、满负荷的高能物理生产系统上,网格存储系统需要具有更高的可靠性,可用性,稳定性与数据服务性能,以支撑万兆网络环境下的大规模、高流量的数据传输。针对这一目标,本文主要围绕以下三个方面展开研究工作:   本地存储系统的高效管理:针对大规模生产系统给本地存储系统带来的完整性,不平衡性,一致性,可用性等问题,本文设计与实现了一套针对本地存储系统的管理系统dCDB。特别针对数据在存储池之间的分布不平衡问题,提出了一种模糊平衡算法FPB,很好地解决数据分布的二维平衡问题,即可用存储空间和文件数目的平衡。   基于频度的动态副本算法:针对本地存储系统的拓扑结构与存储组成单元的特性,本文提出了一种基于频度的动态副本算法FBDR,并将其应用于dCache存储系统中。与传统动态副本算法相比,FBDR分别采用了两种不同的算法OFMI与TFMS对文件访问流进行频度分析,作为确定高频文件的依据,具有较高的命中率。在副本创建位置选择上,综合考虑了存储单元的可用空间,负载,IO性能等因素,使得高频文件获得更高的IO速率,同时也兼顾了存储单元之间的负载与资源利用的平衡。   网格存储服务性能测试工具SEperf:基于网格数据传输的特征,提出了一种新的针对网格存储服务的性能测试工具SEperf。与现有的GridBench工具集相比,SEperf紧密围绕网格数据访问的特征,可以动态扩展各种不同的客户端,支持多种数据访问模式,多种源文件生成方式,综合测试,系统资源消耗实时统计,自动生成测试结果对比。作为一个辅助工具,SEperf能衡量与验证一个存储系统的最高的性能,稳定性与可靠性。
其他文献
说话人识别是根据语音信号中反映说话人生理和行为的个性特征自动鉴别说话人身份的一种生物认证技术,可广泛应用于电话银行、数据库访问、计算机远程登录、安全验证、自动控
在全超导非圆截面核聚变实验装置EAST大科学工程中,包含了很多个子系统,不同系统之间需要进行数据交换,分工合作。如在分布式计算环境中,由于每个主机时间不同步,会造成同一
学位
如何保证软件系统的正确性一直是人们所关注的问题,为了能够准确、快速地找到软件系统中存在的问题,研究者们研发出了对软件系统进行形式化验证的工具。在本文中,我们将使用FeaV
运动目标检测是当前图像技术研究应用的热点和焦点,作为运动目标视觉分析中的一项核心技术以及底层问题,是后续各种高层次的视频处理和应用理解的基础,同时也是视频监控技术自动
随着信息技术的发展,人们越来越强烈地希望用自然语言同计算机交流信息。如果计算机能够“理解”自然语言,用户就能够通过自然语言使用数据库、专家系统、管理信息系统等各种软
近十年来,统计机器翻译取得了很大的成功。统计机器翻译过程实际上是很复杂的流程,涉及了许多自然语言处理技术,如:分词、词性标注、句法分析、词语对齐等。该流程中,每个模块都输
移动机器人越来越多地应用到各个行业中,移动机器人具有高度自规划、自组织和自适应能力,适合于工作于复杂的非结构化环境中,路径规划是机器人技术研究领域中的核心问题,它的
学位
生物信息学是一门以计算机技术为核心工具对生物信息进行存储、解析以及统计分析的科学。计算机技术的快速发展,尤其是大数据技术、机器学习以及数据挖掘技术的兴起,给传统的生
随着P2P系统逐渐变成大规模的应用,并且占据着互联网上越来越大比例的流量,关于这些P2P应用程序的实际研究也开始增加起来。P2P系统发展至今,已经出现了各种不同的体系结构,而DHT
学位
视频监控是计算机视觉、模式识别以及人工智能等领域的一个重要的研究内容,在安全监控、智能交通、军事导航等方面有着广泛的应用前景。运动目标检测技术是视频监控系统中一
学位