数据中心环境下的磁盘故障分析与研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:lake_zhong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的到来,数据中心成为数据存储的主要场所,其数据量呈指数级增长,对存储器的需求也大大增加。磁盘存储器具有高密度、大容量、高性价比等优点,是目前数据中心的主要存储设备。然而,磁盘存储器寿命短、故障率高等问题大大降低了数据中心存储系统的可靠性。磁盘故障不仅影响数据中心服务的可用性,还会给数据中心运维带来巨大的开销。因此,研究磁盘故障问题对提升数据中心存储系统的可靠性和减少数据中心运维成本具有重大意义。围绕磁盘故障问题,开展了故障分析、故障预测和故障恢复三方面的研究工作。
  在故障分析方面,分析了数据中心环境下磁盘负载对磁盘故障的影响。使用磁盘利用率和磁盘传输速度构建了磁盘负载的时间特征和空间特征,量化了它们对磁盘故障的影响。基于时空特征的分析结果,构造了引发磁盘故障的关键负载特征。除此之外,结合数据中心的实际情况,提供了若干条减少磁盘故障的磁盘负载调度建议。
  在故障预测方面,使用检测与修正方法解决了数据中心环境下磁盘故障预测数据的不准确问题。通过分析数据中心的磁盘故障检测方式,揭示了磁盘故障预测数据中的标注不准确问题。根据相关邻域图中的切边加权统计方法与基于磁盘数据中不准确标注的特征修正策略,提供了一种磁盘故障数据中不准确标注的检测与修正方法。
  在故障恢复方面,为数据中心解决了有限的故障恢复资源与不断增加的磁盘预警频率之间的矛盾所引发的数据安全问题。通过分析在面对多个磁盘预警时故障恢复资源与预警频率间的矛盾,揭示了数据中心构建实时磁盘故障恢复处理调度策略的迫切需求,并通过预测磁盘故障发生顺序构建了一种高效的磁盘故障恢复处理调度策略。
  综上所述,围绕数据中心的磁盘使用特征和磁盘故障特征,从磁盘故障的原因,磁盘故障的预测和磁盘故障的恢复三个方面全面深入地研究了数据中心环境下的磁盘故障问题,增强了对数据中心磁盘故障的规律理解,降低了磁盘故障对数据中心环境下应用和服务的影响,为减少数据中心的运营成本提供了切实可行的方案。
其他文献
对于智能手机平台上的增强现实应用,结合手势这种直观的交互方式能给用户带来更自然的操作体验,对增强现实技术的发展很有意义。然而受限于手机的硬件性能和单目摄像头等条件,目前在安卓平台下还没有一套成熟且完备的解决方案来实现基于手势交互的增强现实系统。  本文设计并实现了一个应用在安卓平台上基于手势交互的增强现实系统,主要解决了手部位姿估计和动态手势识别两个技术难点,结合手势交互模块,实现了根据用户手势控
随着现代应用程序复杂度的不断提高,大规模的数据计算对程序和编程框架的并行性和可扩展性的要求越来越高。数据流编程语言COStream使用特定的文法描述计算任务,编译后将各任务均匀划分至不同的核上,能充分发挥多核平台的性能。但目前COStream语言的文法在编译阶段存在移入归约冲突,导致对运算符优先级的解析存在错误,且缺少内置的矩阵运算接口,影响了COStream数据流编程模型的可用性和易用性。  针
近些年来,物联网技术的飞速发展已经使得人、机、物三者的融合共生成为了一种不可逆转的趋势。人机物融合应用的发展现如今还面临着诸多挑战,如何在边缘场景下进行高效的资源调度是其中的关键问题之一。边缘场景下的人机交互应用会产生大量的数据,如果选择不在网络边缘侧处理这些数据,数据的传输过程将会给网络带宽带来极大的负担,同时数据传输所带来的高网络延迟也会让一些延迟敏感应用的使用体验感大大降低。但在网络边缘处理
学位
移动边缘计算作为边缘计算的一种实现形式,其在一定的程度上有效的弥补了云计算在实时性处理、带宽占用以及数据隐私安全方面的不足,并且在人机物融合应用方面具有十分良好的前景。但是,由于边缘计算所依赖的边缘设备本身所固有的携带能量有限、计算能力有限、存储能力有限的局限性,边缘计算在应用的过程中往往面临着各种各样的挑战。  针对移动边缘计算场景下,边缘设备接入接出灵活的特点,以及由边缘设备接入接出所引发的边
近年来,知识图谱由于其表达丰富信息的能力及其在基于知识的推理中的潜力而受到了广泛的关注。例如,它们可以协助(与移动服务中的用户关联,切换策略和流量内容)相关的深入知识发现。知识图谱嵌入可以将知识图谱中的实体和关系投影到密集且低维的向量中,并通过这种方式有效地测量复杂的语义信息以及这些实体之间的关系。但是,传统的知识图谱嵌入方法仅考虑知识图谱中的直接事实,在面对稀疏数据时,很难实现对实体和关系的合理
学位
在如今的大数据时代,智慧城市的理念与建设蒸蒸日上,作为和谐社会的安全保障,监控摄像头可谓随处可见。监控视频下的行人属性识别通过统计整合信息实现对行人的信息结构化,这对于智能安防、刑事侦查、广告精准投放等领域具有至关重要的作用和意义。但是由于监控视频场景复杂,而且行人属性类别间的相关性和属性类别与空间位置间的关联较难挖掘,行人属性识别任务仍具有挑战性。  本文提出的基于语义分割的行人属性识别方法,针
随着互联网技术的迅速发展,大数据时代下信息过载的问题日益严重。能够提供个性化信息服务的推荐系统成为解决上述问题的主要技术,而其中的矩阵分解模型因其简单高效且准确度高得到了广泛的关注。传统的仅使用用户对商品评分信息的矩阵分解模型及其他协同过滤方法容易受到评分稀疏的影响而效果不佳。现实生活中,广泛存在于网络且容易获取的用户评论能一定程度反映用户的喜好和被评论商品的特征,因此结合评论文本的个性化推荐算法
随着直播行业的迅猛发展,观看直播成为了大量用户的主要文娱活动之一。但是各大直播平台的相互独立性一方面影响了用户体验,一方面难以满足相关部门的监管需求,将各大直播平台动态聚合成为必要。直播平台自身发展的过程中,平台内部也遇到了信息过载的问题,而直播背景下的推荐不同于电影视频等推荐,具有时效性、隐蔽性和不确定性的特征,更为重要的是直播平台在迅速扩张过程中引入的新用户与主播会加剧推荐系统中的冷启动问题,
学位
现实生活中的推荐系统经常面临这样的问题,仅基于短时会话(session)的数据(例如小型新闻网站),而不是长期的用户记录(例如淘宝、京东等)进行推荐。在这种情况下,常用的矩阵分解方法是不准确的。近来,循环神经网络(Recurrent Neural Network, RNN)被广泛应用在基于序列数据的推荐中,但是RNN在基于序列数据的推荐中也有其不足,因为其仅仅考虑了序列中的时序信息,而没有考虑其他
学位
随着信息技术的快速发展,现代社会数字信息量急剧增长。根据国际数据公司(IDC)于2018年11月发布的《数据时代2025(Data Age 2025)》报告,全球所有数据的总和将由2018年的33ZB增长到2025年的175ZB。海量数据的存储需求推动了大容量存储设备市场规模高速扩张,也对各类存储技术的发展提出了更高要求。与光存储、半导体存储等相比,磁存储的单位存储成本更低,综合性能优势更大,基于
学位