【摘 要】
：
随着大数据和机器学习的火热发展,面向机器学习的分布式大数据计算引擎随之兴起.这些系统既可以支持批量的分布式学习,也可以支持流式的增量学习和验证,具有低延迟、高性能的特点.然而,当前的一些主流系统采用了随机的任务调度策略,忽略了节点的性能差异,因此容易导致负载不均和性能下降.同时,对于某些任务,如果资源要求不满足,则会导致调度失败.针对这些问题,提出了一种异构任务调度框架,能够保证任务的高效执行和被执行.具体来讲,该框架针对任务调度模块,围绕节点的异构计算资源,提出了概率随机的调度策略resource-Pi
【机 构】
：
北京理工大学计算机学院,北京100081;东北大学计算机科学与工程学院 辽宁沈阳110819
论文部分内容阅读
随着大数据和机器学习的火热发展,面向机器学习的分布式大数据计算引擎随之兴起.这些系统既可以支持批量的分布式学习,也可以支持流式的增量学习和验证,具有低延迟、高性能的特点.然而,当前的一些主流系统采用了随机的任务调度策略,忽略了节点的性能差异,因此容易导致负载不均和性能下降.同时,对于某些任务,如果资源要求不满足,则会导致调度失败.针对这些问题,提出了一种异构任务调度框架,能够保证任务的高效执行和被执行.具体来讲,该框架针对任务调度模块,围绕节点的异构计算资源,提出了概率随机的调度策略resource-Pick_kx和确定的平滑加权轮询算法.Resource-Pick_kx算法根据节点性能计算概率,进行概率随机调度,性能高的节点概率越大,任务调度到此节点的可能性就越高.平滑加权轮询算法在初始时根据节点性能设置权重,调度过程中平滑加权,使任务调度到当下性能最高的节点上.此外,对于资源不满足要求的任务场景,提出了基于容器的纵向扩容机制,自定义任务资源,创建节点加入集群,重新完成任务的调度.通过实验在benchmark和公开数据集上测试了框架的性能,相比于原有策略,该框架性能提升了10％-20％.
其他文献
并发控制算法是数据库系统保证事务执行正确且高效的重要手段,一直是数据库工业界和学术界研究的核心问题之一.将并发控制算法的基本思想归纳为“先定序后检验”,并基于该思想对现有各类并发控制算法进行了重新描述和分类总结.基于在开源内存型分布式事务测试床3TS上的实际对比实验,系统性地探究了各类算法的优缺点和适用场景,为面向内存数据库的并发控制算法的后续研究提供参考.
针对机电液耦合器流固耦合分析对结构设计和后续材料选取的重要性,本文分析了机电液耦合器的结构和工作原理,建立了流固耦合数学模型,形成机电液耦合器的单向流固耦合分析方法.在Workbench中的Design Modeler提取斜盘式柱塞泵的流体域,通过Fluent软件进行瞬态和稳态流场仿真分析,并利用Static Structural对结构进行单向流固耦合仿真分析.仿真结果表明,在额定工况下,求解得到斜盘式柱塞泵最大变形为0.04309 mm,最大等效应力为247.75 MPa,说明流体动力各部件的总变形和等
近年来,数据库系统为了应对新应用和新数据类型对数据管理与分析提出的全新挑战,产生了一系列新的发展趋势,包括:(1)在数据管理方面,计算机硬件的创新与人工智能技术的深入为数据库系统带来了全新的发展机会,而伸缩性、容错性、可扩展性等应用需求又给数据管理带来了全新的挑战;(2)在数据分析方面,数据量的剧增、数据类型的异构与应用需求的多样对数据库系统的分析能力与性能提出了更高的要求;(3)在数据安全方面,多方安全计算、联邦学习等应用和需求的变化给数据库安全与隐私保护技术带来了全新的课题.因此,需要利用和发展现有的