基于加强学习的分布式空间任务优化的研究与实现

来源 :北京大学 | 被引量 : 0次 | 上传用户:gzw39
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分布式共享与协同技术可以很好的组织、管理、存储和访问分布在不同地理位置上的空间数据资源。Agent因其自适应、灵活等特点,可以自主地在分布式环境中发挥作用。对于每一个分布式空间任务,在缺乏中心控制的情况下,如何选择最佳的节点组合进行协同计算,就成为影响整体系统效率的关键因素。   分布式系统中的每个节点状态都在动态变化,为了使每个分布式空间任务高效执行,在任务派发之前,需要得到当前所有节点的全局状态信息,才可做出最准确的选择。在一个无中心控制的系统中,每个节点需要通过大量的消息通信来获知全局节点的状态。这就很容易造成消息堵塞,很可能因消息传递延迟或错误而导致不当的任务分配,节点的大部分资源都被用于消息传递而非空间运算。   加强学习是一种可以适应动态环境和随机变化的机器学习方法。对于每个任务请求,通过加强学习的方法,Agent可根据周围环境采取自主行动,最大化自身的回报。加强学习通过多次尝试,将结果不断的反馈,让Agent日益熟悉周围环境,从而对类似任务的请求作出更为准确的策略。利用加强学习的方法来优化分布式空间任务,可以在减少节点之间实时消息的通讯量的同时,提高空间任务的执行效率。   在分布式环境中,将每个节点映射为一个Agent,对于该节点接收的每一个查询任务,运用加强学习方法选择一系列节点的组合来完成查询任务。由于分布式系统中节点的数目庞大,而每个查询任务所能涉及的节点个数有限,为了缩短节点的学习时间,定期将所有节点各自学习到的节点状态信息进行共享,通过整合,将统一后的节点信息反馈给系统中的每一个节点。通过这种方式,系统中的各个节点就可以快速学习到其它节点的状态信息。另外,由于空间任务的固有特点,根据空间算子所需要的计算资源不同,对不同类型的空间算子分别进行加强学习,从而可以更准确获得每个节点对应不同空间计算类型的表现。   论文的主要贡献包括:1)将加强学习的方法引入到分布式空间任务优化中,通过对单个节点的查询历史的加强学习,记录所访问过的节点之间的信息,供随后的查询参考。2)将各节点加强学习的结果整合到一起,缩短了整个系统中单个节点的学习时间。由于每个节点所涉联的节点数有限,需要将其它节点加强学习的知识进行共享。通过归一化节点学习结果,避免了节点个性差异引起的评价不同。3)更准确地给出了每个节点的性能评价。根据历史表现来对一个节点进行综合评价,即使某次做出的决策并不一定最佳,但是总体上是较优的。   论文工作的研究内容主要建立在对真实数据进行实验分析的基础之上,数据取自全国1∶500万的地理数据,包括河流,道路,省市边界等图层。论文研究工作得到了“十一五”国家高技术发展计划(863计划)《网格环境下基于Agent的空间资源分布式共享与协同计算研究》的支持。
其他文献
程序员在日常编写和维护代码时,常常需要参考一些文档和其他代码。特别是在近来软件外包和人员流动日趋普遍的情况下,新接手项目的程序员需要花费大量时间来寻找需要参考的文
随着计算机性能的日益提高,以及数字化技术的飞速发展,越来越多的研究者,把关注的目光投向了多媒体文件的存储和应用。近年来,由于电影工业的飞速发展,每年都有数以千计的影
学位
随着信息技术的不断发展,软件的应用领域愈加宽广,软件规模日益扩大,企业内部的遗产系统和散布于互联网上的开源项目也在不断增加。为了降低软件项目的开发成本,提高软件的开发效
随着近10年来的迅速发展,计算机已经深入人们生活的方方面面。其中,计算机辅助教学(CAI)已经极大地改变了传统的教育教学方式,提高了教师的教学效果和学生的学习兴趣。但是传统
粒子群优化算法是一种模拟鸟类群体行为的智能优化算法,现已成为进化算法的一个新的重要分支。粒子群算法思想直观、实现简单而且具有很高的执行效率,自提出以来,受到国内外
一个城市的供水系统中如果发生了污染事件会给社会带来巨大的损失。管网中发生的污染事件能使其中自来水的水质指标变化发生明显的异常。在供水管网中部署传感器网络能够实时
软件复用是解决软件危机的有效途径。实现软件复用的一种可行办法是在特定的应用领域内组织实施可复用资产的生产活动,即领域工程。特征建模是领域工程中捕获可复用需求的一种
软件测试作为保证软件质量和可靠性的一种重要技术,在整个软件开发成本中占有重大比例,提高软件测试的效率对于降低软件维护成本具有重要的意义。而在软件测试的过程中,测试数据
真实感图像绘制作为计算机图形学的重要研究课题,通过综合利用数学、物理学、计算机以及心理学等知识绘制出逼近真实相机拍摄效果的图像。其中,蒙特卡洛路径跟踪算法模拟光线在
大规模群体非正式学习中,学习者不仅仅是从学习资源内容中学习,围绕某个知识点建立的人际网络可以成为学习的重要内容。现有的网络课程只是简单的为学习者传递物化的资源,而