日志分析系统的任务调度方法研究

来源 :南京航空航天大学 | 被引量 : 0次 | 上传用户:zhouyulu1200
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网与信息技术的不断发展,信息系统规模变得越来越庞大,如何对系统运行时的性能、业务数据、网络负载等情况进行监控分析成为了当前迫切需要解决的问题。而计算机日志作为系统的真实写照,记录了系统运行过程中发生的各种事件以及其对应的时间和产生的结果,因此,通过对日志进行分析,可以挖掘日志中蕴含的关键信息,为用户提供各方面的数据服务。日志分析系统作为日志分析的一整套解决方案由多台服务器构成,通过网络的协调同步共同完成日志分析。其面向海量的日志信息,通过实时的对日志进行分析为用户提供服务。日志分析系统周期性的产生众多日志分析任务,它们在系统的调度下分派到适合的计算节点执行。日志分析任务具有计算量大、时效性强、准确性高等特点,其性能决定着整个系统的成败。本文通过日志分析系统的模块结构介绍,明确了任务调度模块在整个系统中的核心作用,并提出完成一个高效任务调度模块需要实现的目标。本文从任务调度理论与作者亲身参与开发的一款日志分析系统出发,总结了现阶段系统任务调度模块存在的缺陷,并在此基础上提出一种改进型的日志分析系统任务调度方案。方案分别从架构和算法两方面展开设计,其中架构方面借鉴集中式调度思想,创新性提出在Master-Slave架构中增加任务收集层,形成Collector-Master-Slave三层次调度架构,新方案在降低Master负载同时也增强了系统的可扩展性;同时为Slave添加的监控子模块为计算节点提供了更完善的负载均衡策略。算法方面,本文将传统调度系统中采用的蚁群算法进行了适当的改进和完善,增加了负信息素、动态启动、参数自适应等功能使其更加适应日志分析任务特征。在实现方面,本文采用了JAVA高级程序设计语言,并利用现有的成熟产品,如Zookeeper、MINA等实现了调度的主体框架,并通过模拟日志分析场景验证了此方案的可行性。本文的设计方案提高了日志分析系统执行效率,降低了系统硬件成本,增强了系统稳定性,有较强的实践指导意义和应用价值。
其他文献
目的:探讨卡前列素氨丁三醇注射液预防高危剖宫产产后出血的临床治疗效果.方法:选取我院2016年6月至2017年6月的164例出现产科剖宫产指征与出血高危因素的产妇作为主要研究对
科技创新是推动经济发展和社会进步的核心动力,世界各国都把推动科技创新作为提高国际竞争力的重要手段。党的十八大将实施创新驱动发展战略提到国家战略层面,强调要坚持走中国
去年4月,为增强党员自身意识,我们要求党员佩戴党员胸章上岗。谁料,刚一开始,就听到有些群众议论:“过去的党员,不戴党徽也看得出来,哪像现在有的党员,跟群众没两样,只能靠
目的:探讨补佳乐配合米索前列醇片用于绝经后取环的临床效果.方法:连续选择2014年8月至2016年3月来我院要求摘除宫内节育器的绝经期妇女102例,平均年龄(59.4±5.5)岁,平均绝
目的:探讨中西医联合治疗肥胖性高血压病及对患者免疫功能的影响.方法:选取2016年1月~2017年10月期间我院收治的80例肥胖性高血压患者,随机分为对照组(40例)和观察组(40例).对
目的:探究丁苯酞联合吡拉西坦治疗脑梗死合并血管性认知功能障碍的临床疗效.方法:确诊为脑梗死合并血管性认知功能障碍的73例患者随机分为观察组(37例)和对照组(36例).两组患
权力本来没有外借一说,在《现代汉语词典》三十多“借”字条中没有一条是“借权”的,可在现实生活中却不断发生权力外借的现象。但有借就耍有还,而借权者又无法还,于是就在
近年,在领导班子年度考核工作中出现了许多新情况和新问题,如有的班子在工作政绩上搞假大空,主要表现为:追求“数字政绩”,平时工作不扎实,到考核时用数字垒政绩,骗上级,争先进;追求“
德国是世界印刷强国,中国是世界印刷大国,两个国家在印刷产业上具有较强的互补性并且已在不同程度上开展了产业对接合作。但事实表明,实践中有相当一部分合作是失败的。如何促进
随着社会经济的全球化、竞争压力的日益增加和市场需求的多样化,逐渐形成了集采购联盟、生产联盟和销售联盟一体化的供应链。供应链具有典型的网络结构,网络的规模巨大,网络中各个节点间的相互作用十分复杂,可以采用复杂网络的理论和方法对其进行定量分析,即把微观和宏观性质联系起来,预言复杂系统丰富的整体行为,关注个体间的微观作用所导致的系统宏观现象,侧重从宏观角度去分析一个节点和整个网络之间的关系。本文基于复杂