【摘 要】
:
由于信息技术的高速发展,各种网络应用、物联网传感器产生的数据量爆炸式增长,在线的实时处理应用场景日渐增多,流式计算逐渐在大数据处理的领域占据一席之地。目前已有的许多开
论文部分内容阅读
由于信息技术的高速发展,各种网络应用、物联网传感器产生的数据量爆炸式增长,在线的实时处理应用场景日渐增多,流式计算逐渐在大数据处理的领域占据一席之地。目前已有的许多开源的流计算框架中,Storm相对来说更加成熟、且应用广泛,将它作为研究对象有一定的应用价值。Storm应用的编程人员一直面临着性能调优困难的窘境,近年来逐渐有一些工作致力于设计流式处理引擎的自动调优框架,帮助编程人员减轻负担。 现有的关于自动调优框架的研究工作存在着局限性,如:所探究的参数较少、调优的迭代次数较多等。本文着眼于这两方面为Storm应用设计一个新的在线自动调优框架,可考虑更多的参数的调优,同时调优的迭代次数更少。 本文贡献如下: 1.设计并实现了一个针对Storm应用的在线自动调优框架,以吞吐率和延迟为调优目标,对Storm框架中与性能紧密相关的Spout并行度、Bolt并行度、Worker个数、Acker个数等参数实施在线自动调优。 2.提供细粒度性能数据的采集功能。除了吞吐、延迟这类应用级粗粒度性能数据之外,自动调优框架还会收集函数级别的细粒度性能数据,以获取更具体的执行信息。 3.提出一个Bolt瓶颈识别算法,通过判断接收队列的阻塞情况识别瓶颈,它比已有工作的准确度更高。实验中该算法识别出了全部32组参数配置的瓶颈。 4.优化对Bolt并行度的调优方法。采用代表值代替算术平均值参与计算,实验中该方法完全缓解了所有测试用例的瓶颈,而采用平均值的方法无法完全缓解瓶颈。 实验表明,本文的自动调优框架所调优的Storm应用可以在达到用户给定的吞吐率下,获得稳定的延迟;且实验中框架的迭代调优次数平均仅为3次。本文的自动调优框架能够为Storm应用编程人员提供性能调优便利,在应用开发当中具有重要的实用价值。
其他文献
指纹识别作为一个较好的生物识别方法,已得到广泛的应用。基于细节点的传统指纹识别方法很容易受噪声带来的伪细节点的影响,已没有很大的改进空间。本文以指纹纹线的宏观线形为
过程感知信息系统(Process-aware Information Systems,PAIS)中过程建模和过程实施的特征反映了PAIS过程混合了宏观抽象的问题域过程(以建模为主要目的)和微观具体的计算机域
近年来,面向服务的计算(Service Oriented Computing)和面向服务的体系结构(Service Oriented Architecture)得到了学术界和工业界的广泛关注。服务为实现开放的网络环境中各
近年来,随着信息技术的飞速发展,在众多领域的实际应用中产生了一种新的数据集合,其数据是动态的、有序的、连续的、无限的,对这种数据的处理只能按照顺序访问,并读取一次或
传统的数据库管理只处理确定的信息,现在越来越多的数据库应用包含了非确定的信息。XML文档以其自描述性,跨平台交换性等特点,已经成为网络上数据存储和数据交换的标准。互联
在移动对象数据库的领域中,对象的运动通常被当作一个连续曲线来研究,即运动轨迹。在轨迹数据库中发现队列具有重要的意义。队列发现与很多实际问题密切相关,诸如合伙用车、
随着互联网信息及用户的飞速增长,如何有效减少用户访问延时,提高网络服务质量和网络带宽的利用率是一个迫切需要解决的难题。Web代理缓存技术是克服这些问题的最有效的方法
语音识别是一门集语言学、信号处理、计算机技术于一身的综合性学科。其广阔的应用前景,广泛的应用领域使大量的科学研究人员长期以来一直关注着它,并投入大量精力对其进行研
软件已经成为影响国民经济、军事、政治乃至社会生活的重要因素。软件的缺陷是导致相关系统出错、失效、崩溃甚至机毁人亡的潜在根源。软件缺陷预测是保证软件可靠性和软件质
网络安全保障问题是信息化发展过程和使用中必须要面对的问题,网络的开放性与安全性是反比例的关系,在这种情况下,人们都在寻求能够找到防御攻击的方法。但是,当前攻击与防范作为