编码分布式计算中落后节点利用方法研究

来源 :南京大学 | 被引量 : 0次 | 上传用户:qepwq051
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分布式计算由于其高可靠性、可扩展性、高收益性等优点,已经逐渐成为大规模机器学习和大数据分析的主流计算方法。然而分布式系统中存在落后节点,这导致任务所需总时间增加,从而限制了分布式计算的性能。编码分布式计算是一种新的计算范式,它利用编码方法制造存储或计算冗余来减轻不可预测的落后节点带来的影响。然而,现有的应用于主从计算框架的编码计算方案大多只利用一定数量最快的工作节点的计算结果来恢复输出,完全忽略了其他节点所做工作,导致性能低下。针对此问题,本文考虑了单主节点和多主节点两种应用场景,分别提出了相应的编码计算方案,以利用分布式系统中所有节点的工作能力来提高系统效率。具体贡献如下:(1)针对单主节点场景下分布式系统中工作节点资源利用不充分这一问题,本文刻画了“全速通信”和“全速计算”两个全新概念,分别代表已经完成计算任务的工作节点和主节点之间的所有通信链路被充分利用,以及每个工作节点完成的所有计算任务被主节点充分利用。本文基于多项式编码框架提出了一种随机方法,即每个工作节点将局部计算结果划分为若干块后,使用编码依次生成新的结果块并转发。本文从理论上证明了这种思想的可行性。通过将随机方法中的编码操作由计算结果映射至输入数据集,本文进一步证明了在某些典型任务场景下可以实现全速计算。基于真实环境的实验结果和部分仿真结果表明:这种新方法可以利用单主节点场景下主从计算框架中的落后工作节点,从而显著减少任务完成时间,提高系统资源利用率。(2)针对多主节点场景下分布式系统中主节点落后这一问题,本文新提出了一种包含多个主节点的主从计算框架,其中多个主节点合作完成计算结果合并工作,并无需设置额外的管理节点。基于此框架,本文提出了一种编码方案以解决主节点处的落后者问题。通过引入单主节点场景下的随机编码方案,本文进一步证明了在多主节点场景下也可以充分利用分布式系统中落后节点工作能力。仿真实验结果表明:新提出的计算框架和编码方案可以有效解决分布式计算中的主节点瓶颈问题和落后者问题,并能充分利用落后工作节点,从而提高系统工作效率。
其他文献
目标检测作为目前发展较为成熟的计算机视觉技术,在监控定位,交通国防等实际应用领域发挥着越来越重要的作用。针对多类别目标检测问题的神经网络模型从最初的R-CNN系列,再到后来的SSD、YOLO等受到学术界的广泛关注,随着模型的发展其检测精度逐步增加。然而通过分析实际需求可以发现,很多场景下目标检测网络并不需要识别过多的类别,甚至只需要识别某一个类别的场景也屡见不鲜,相对而言实时性的需求反而更加重要。
学位
学位
学位
学位
学位
能源合作是共建“一带一路”的重点领域,其中原油是能源合作中的重要部分。中国作为全球第一大原油进口国,进口原油中绝大部分是通过海运完成的。对此,中国海上原油运量的时空变化分析,对国家能源安全意义重大。然而,目前常规的原油运量数据以统计数据为主,时空尺度较粗,难以获取特定时间、特定航线、特定港口等的海上原油运量。船舶自动识别系统(Automatic Identification System,简称AI
随着我国化工行业的发展,含氟资源的有效利用问题逐渐被重视。氟硅酸是制取含氟产品的重要原料,然而其中含有的有毒物质亚砷酸盐(As(III))和砷酸盐(As(V))离子会对氟硅酸品质造成影响。因此,有效去除氟硅酸中的砷离子具有广阔的工业应用价值。本文以脱脂棉为原料经预炭化、酸碱改性和炭化制成活性炭纤维(Activated Carbon Fiber,ACF),运用扫描电子显微镜(SEM)、傅里叶红外光谱
由于近年以来量子计算机的快速发展,后量子加密应运而生。在国际标准组织NIST主办的后量子密码标准化的进程中,超奇异同源密钥封装协议(SIKE)由于其较小的密钥尺寸,并且与传统ECC加密的兼容特性,已经通过了三轮的激烈竞争。然而协议中数量巨大的串行同源计算构成了其标准化进程的瓶颈,虽然研究者已经做了很多的研究和努力,但是其计算延迟仍然相比其他的热门候选者慢了不止一个数量级。在目前最新的SIKE实现中
学位