【摘 要】
：
随着大数据和机器学习的火热发展,面向机器学习的分布式大数据计算引擎随之兴起.这些系统既可以支持批量的分布式学习,也可以支持流式的增量学习和验证,具有低延迟、高性能的特点.然而,当前的一些主流系统采用了随机的任务调度策略,忽略了节点的性能差异,因此容易导致负载不均和性能下降.同时,对于某些任务,如果资源要求不满足,则会导致调度失败.针对这些问题,提出了一种异构任务调度框架,能够保证任务的高效执行和被执行.具体来讲,该框架针对任务调度模块,围绕节点的异构计算资源,提出了概率随机的调度策略resource-Pi
【机 构】
：
北京理工大学计算机学院,北京100081;东北大学计算机科学与工程学院 辽宁沈阳110819
论文部分内容阅读
随着大数据和机器学习的火热发展,面向机器学习的分布式大数据计算引擎随之兴起.这些系统既可以支持批量的分布式学习,也可以支持流式的增量学习和验证,具有低延迟、高性能的特点.然而,当前的一些主流系统采用了随机的任务调度策略,忽略了节点的性能差异,因此容易导致负载不均和性能下降.同时,对于某些任务,如果资源要求不满足,则会导致调度失败.针对这些问题,提出了一种异构任务调度框架,能够保证任务的高效执行和被执行.具体来讲,该框架针对任务调度模块,围绕节点的异构计算资源,提出了概率随机的调度策略resource-Pick_kx和确定的平滑加权轮询算法.Resource-Pick_kx算法根据节点性能计算概率,进行概率随机调度,性能高的节点概率越大,任务调度到此节点的可能性就越高.平滑加权轮询算法在初始时根据节点性能设置权重,调度过程中平滑加权,使任务调度到当下性能最高的节点上.此外,对于资源不满足要求的任务场景,提出了基于容器的纵向扩容机制,自定义任务资源,创建节点加入集群,重新完成任务的调度.通过实验在benchmark和公开数据集上测试了框架的性能,相比于原有策略,该框架性能提升了10％-20％.
其他文献
为了对混凝土搅拌车副车架结构强度进行分析,本文应用HyperMesh有限元分析软件建立混凝土搅拌车主、副车架有限元模型,对弯曲工况下副车架结构强度进行有限元分析,得到副车架的应力分布,确定测点位,建立应力测试试验系统,得到各测点位的等效应力,最后对各测点等效应力有限元计算结果与试验测试结果进行对比,验证副车架有限元模型的正确性.同时,通过分析搅拌罐贡献率,对各极限工况下副车架结构强度进行分析.研究结果表明,在各极限工况下,当搅拌罐贡献率为20％时,副车架结构强度满足使用要求.该研究为混凝土搅拌车副车架的强
针对在流化床中密相区的气固流动行为与污染物NOx之间关系规律和影响机制的问题,本文借助鼓泡流化床反应器,研究了准东煤和柏木在不同床内温度、流化风速和给料速率条件下燃烧时烟气中NOx的浓度,并利用功率谱密度分析法分析了流化床内气固流态.结果 表明,随着温度的升高,床内流化气体密度降低,使得床内截面气速增加,鼓泡流态化更加剧烈,促进了气固混合与接触,从而使烟气中NOx含量显著增大.适当提高流化风速,有利于床层形成充分的鼓泡流态化,使燃料燃烧更加充分,但流化风速过大,也会导致烟气中NOx排放浓度上升.通过降低给
非易失内存(non-volatile memory,NVM)为数据存储与管理带来新的机遇,但同时也要求已有的索引结构针对NVM的特性进行重新设计.围绕NVM的存取特性,重点研究了树形索引在NVM上的访问、持久化、范围查询等操作的性能优化,并提出了一种上下两层结构的异构索引HART.该索引结合了B+树与Radix树的特点,同时利用了Radix结点搜索快以及B+树范围查询性能好的优点.对整体架构进行了精心设计,改进了Radix树的路径压缩策略,设计了NVM写友好的结点结构,并将Radix树叶结点集中存储和链接
针对移动目标检测方法存在的受背景环境影响而导致检测结果不准确的问题,本文提出一种融合高斯混合模型的背景减除法.算法与频率调谐显著性区域检测(frequency-tuned,FT)算法的移动目标检测方法.该研究以摄像头拍摄到的遥控车行走视频为分析材料,在降采样图像上用MOG2算法检测移动目标,经二值化和滤波去噪后框选移动目标感兴趣区域,采用FT算法检测此感兴趣区域,并利用置信度结合两次检测结果完成移动目标检测.实验结果显示,在置信度分别为α=0.6,β=0.4时,本文检测方法将检测300帧图像时平均交并比由
并发控制算法是数据库系统保证事务执行正确且高效的重要手段,一直是数据库工业界和学术界研究的核心问题之一.将并发控制算法的基本思想归纳为“先定序后检验”,并基于该思想对现有各类并发控制算法进行了重新描述和分类总结.基于在开源内存型分布式事务测试床3TS上的实际对比实验,系统性地探究了各类算法的优缺点和适用场景,为面向内存数据库的并发控制算法的后续研究提供参考.
针对机电液耦合器流固耦合分析对结构设计和后续材料选取的重要性,本文分析了机电液耦合器的结构和工作原理,建立了流固耦合数学模型,形成机电液耦合器的单向流固耦合分析方法.在Workbench中的Design Modeler提取斜盘式柱塞泵的流体域,通过Fluent软件进行瞬态和稳态流场仿真分析,并利用Static Structural对结构进行单向流固耦合仿真分析.仿真结果表明,在额定工况下,求解得到斜盘式柱塞泵最大变形为0.04309 mm,最大等效应力为247.75 MPa,说明流体动力各部件的总变形和等
近年来,数据库系统为了应对新应用和新数据类型对数据管理与分析提出的全新挑战,产生了一系列新的发展趋势,包括:(1)在数据管理方面,计算机硬件的创新与人工智能技术的深入为数据库系统带来了全新的发展机会,而伸缩性、容错性、可扩展性等应用需求又给数据管理带来了全新的挑战;(2)在数据分析方面,数据量的剧增、数据类型的异构与应用需求的多样对数据库系统的分析能力与性能提出了更高的要求;(3)在数据安全方面,多方安全计算、联邦学习等应用和需求的变化给数据库安全与隐私保护技术带来了全新的课题.因此,需要利用和发展现有的
针对夜晚环境中传统交通流量统计出现的实时性、鲁棒性及准确性不高的问题,提出了一种基于改进的YOLO v5s交通流量统计算法.采用残差网络的连接结构对YOLO v5s算法中的Fo-cUs层进行改进.将改进后的YOLO v5s算法与DeepSORT跟踪算法、统计模块搭建高效的交通流量统计框架.采集实际路况的夜间场景视频来对该框架的准确性进行验证.实验结果表明,该算法平均准确率达到92.9％,较改进前提升3.0％,平均检测速度可以达到33.4 Hz,准确率及实时性都能满足交通流量统计要求.该算法框架可有效地提供
新兴分布式计算框架Apache Flink支持在集群上执行大规模的迭代程序,但其默认的静态资源分配机制导致无法进行合理的资源配置来使迭代作业按时完成.针对这一问题,应该依靠用户来主动表达性能约束而不是被动地进行资源保留,故提出了一种基于运行时间预测的动态资源分配策略RABORP (resource allocation based on runtime prediction),来为具有明确运行时限的Flink迭代作业制定动态资源分配计划并实施.其主要思想是:通过预测各个迭代超步的运行时间,然后根据预测结果
针对传统电动汽车存在的动力形式单一等问题,本文基于电液动力耦合电动汽车工作原理,对主从型电液耦合载电车辆工作模式进行分析.本文提出一种新型电液动力耦合传动方法,以实现机械能、电能和液压能之间的相互转化,论述了动力耦合系统结构与组成,提出了车辆行驶过程中的6种工作模式,为验证该动力耦合系统的可行性,对各个工作模式下,主从型电液耦合载电车辆系统的电能、机械能、液压能传递和相互转化过程进行分析.分析结果表明,在提出的6种工作模式下,该系统凭借行星齿轮无级调速和功率分流的特点,能够实现3种不同能量之间的相互转化.