分布式存储系统数据分区与副本一致性形式化建模与优化

来源 :清华大学 | 被引量 : 3次 | 上传用户:ycw
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据应用的普及,分布式存储系统在工业界被广泛开发和使用。这些分布式系统往往采用较复杂的数据分区、多副本等机制,并在系统性能等方面进行了权衡设计,用于保证集群的可用性和数据可靠性。因此在实际应用中,这些系统往往需要用户根据业务需求进行大量的性能优化工作。在不了解系统原理的前提下,用户往往难以解释系统的运转情况、分析问题原因、进而优化系统配置。而分布式存储系统复杂的系统实现则加大了用户对系统理解的难度。本文从分布式存储系统的运行日志入手,提出分布式存储系统的着色Petri网建模框架以及基于着色Petri网模型的系统优化方法。论文主要内容及贡献如下:·针对分布式系统日志事件关系复杂、现有日志挖掘算法得到模型可读性差、规模大、弹性差等问题,提出了基于系统运行日志的“日志挖掘-模型转换”两阶段建模框架。第一阶段提出了“本地-全局”日志挖掘方法,通过对系统日志按照节点进行逐个挖掘,简化了事件关系,并使得模型清晰可读;通过分析模型之间的关系,将多节点间的模型进行了组合,最终自动生成正确描述分布式存储系统的基本网模型,解决了模型从无到有的问题。第二阶段提出了通过折叠、对称化的操作将基本网模型转换为着色Petri网模型的方法,并在此过程中提出了模型与真实系统的适配问题,解决了模型从有到优的问题。·针对采用一致性哈希的分布式存储系统中数据分区不均衡的问题,提出了采用着色Petri网可达状态概率描述数据分区的方法,在此基础上提出用于评估数据分区优劣的不平衡系数,并通过最优化模型和动态规划算法分别解决了集群初始化时和集群扩展节点时的数据分区优化问题。·针对分布式存储系统中副本一致性优化问题,采用着色Petri网的轨迹分析和排队理论对副本一致性的产生原因进行分析、度量,并提出通过调整排队顺序、改变队列并行度、改变法团参数设置等改进数据为中心和用户为中心的副本一致性的方法。
其他文献
选取171家重污染制药业上市企业为研究对象,主要研究新环保法实施前后,制药行业企业进行的投保投资对社会责任披露质量以及企业价值的影响。提出两个观点:在相同条件下,环境
<正> 山西祁县县志办主任、晋商研究专家武殿学说,乔家的第一代乔贵发大约是乾隆年间人。乾隆初年,乔贵发为做生意走西口,在包头一个当铺当店员。十余年后乔贵发和秦姓同乡开
目的:比较瑞替普酶和尿激酶用于急性ST段抬高型心肌梗死患者静脉溶栓治疗的疗效和安全性。方法:88例急性ST段抬高型心肌梗死患者根据静脉溶栓方法的不同分为瑞替普酶组46例,
体验是万能的,新零售的根本在于用户体验的提升。回顾真正触发新零售出现的根本原因,我们会发现传统电商给人们带来的体验下降是一个主要原因。我们看到的无论是技术乱战、场
期刊
目的了解目前医院医务人员的吸烟状况及危险因素,为制定合理有效的控烟措施提供科学依据。方法采取自行设计的《吸烟状况调查表》对广西壮族自治区人民医院在职医务人员进行
2例发作性睡病患者,病程分别为3个月及5年,每日发作性入睡2~5次。经更年安治疗1周左右,发作性入睡次数减少;1例治疗3周后基本不发作,另1例2月余后发作终止。2例分别治疗2月余
中国改革开放以来,经济发展迅速,成为亚洲乃至世界经济增长的强劲引擎.其经济发展所呈现的主要优势为:经济增长速度快、制造业闻名世界;基础设施比较完备,利用外资成绩明显.
本文介绍了电动汽车用驱动电机及其控制方法的应用现状,通过坐标变换建立了永磁同步电机的数学模型,阐述了永磁同步电机的矢量控制算法,并推导了永磁同步电机在d-q坐标系上的
一致性维护策略是解决结构化peer-to-peer(P2P)网络中数据可靠性和一致性的关键技术,基于该技术,数据可以在不同时间、不同地域得到有效的管理.然而,不同节点的空间异构性、
血清中碱性磷酸酶(ALP)和γ-谷氨酰转移酶(GGT)可用于了解体内成份的变化。也可作为有关器官是否正常的特异性生化指标。近年来国外资料报道血清中该二酶可作为检测肿瘤患者的标